大模型技术服务内容说明

更新时间:
复制为 MD 格式

1. 服务概述

1.1 服务说明

智能体优化技术服务:

提供基于客户业务场景,进行智能体优化服务,包括智能体架构设计、工程链路优化、性能调优等工作。

大模型后训练技术服务:

通过技术服务,使用模型后训练等技术手段,提升大模型在垂直领域任务上的性能表现(如准确率、召回率、响应速度等),降低推理成本与资源消耗,增强模型输出的可靠性、一致性与安全性。

大模型算力优化服务:

针对客户模型训练与推理业务需求,提供算力迁移、环境适配、性能调优与部署优化服务,支持将算法任务迁移至阿里云平台,并基于PAI/ACS产品进行高效训推部署。

大模型技术服务增补服务:

用于补充上述服务包中,单包服务内容无法覆盖的服务内容。

2. 服务范围

2.1 智能体优化技术服务范围

服务范围包含

  • 大模型相关应用场景需求分析。

  • 上下文工程(Context Engineering)深度优化。

  • 检索增强生成(RAG)系统构建与优化。

  • 智能体架构设计与编排。

  • 智能体工程链路调优。

  • 性能调优。

  • 安全合规处理。

  • 项目过程管理与实施计划制定支持。

服务范围不包含

  • 客户系统的代码开发。

  • 第三方软件的安装、测试、故障诊断、优化等日常运维服务。

  • 非大模型相关的IT系统架构改造或通用数字化转型咨询。

2.2 大模型后训练技术服务范围

服务范围包含

  • 业务场景需求调研。

  • 后训练方案设计。

  • 数据集准备(含训练数据、评测数据)。

  • 效果评估与持续迭代。

  • 推理性能优化。

服务范围不包含

  • 客户现有业务系统的代码开发与功能改造。

  • 第三方闭源软件的安装、测试、故障诊断与优化。

注:仅支持基于现有训推框架(如百炼、PAI-LightLLM、vllm、sglang)之上的优化服务,不涉及框架级改造。

2.3 大模型算力优化技术服务范围

服务范围包含

  • 推理性能优化模型镜像适配与依赖环境编译(不含闭源包改造)。

  • 基于PAI/ACS的推理服务部署与压测。

  • 训练环境构建及训练效率优化与分布式策略调优。

  • 异常问题定位与算力利用率提升建议。

服务范围不包含

  • 客户侧代码开发与模型算法研发。

  • 非算力相关的业务系统迁移或改造。

  • 第三方闭源软件或自研框架的改造优化。

  • 第三方训练/推理框架的底层重构(如修改PyTorch内核)。

注:仅支持基于现有主流训推框架(如HuggingFace、DeepSpeed、vLLM)的调优,不涉及框架级二次开发。

2.4 大模型技术服务增补服务范围

服务范围包含

  • 智能体优化相关服务内容,包含:

    • 大模型相关应用场景需求分析。

    • 上下文工程(Context Engineering)深度优化。

    • 检索增强生成(RAG)系统构建与优化。

    • 智能体架构设计与编排。

    • 智能体工程链路调优。

    • 性能调优。

    • 安全合规处理。

    • 项目过程管理与实施计划制定支持。

  • 后训练技术相关服务内容,包含:

    • 业务场景需求调研。

    • 后训练方案设计。

    • 数据集准备(含训练数据、评测数据)。

    • 效果评估与持续迭代。

  • 算力优化相关服务内容,包含:

    • 模型镜像适配与依赖环境编译(不含闭源包改造)。

    • 基于PAI/ACS的推理服务部署与压测。

    • 训练环境构建及训练效率优化与分布式策略调优。

    • 异常问题定位与算力利用率提升建议。

    • 项目过程管理与实施计划制定支持。

服务范围不包含

  • 客户系统的代码开发。

  • 第三方软件的安装、测试、故障诊断、优化等日常运维服务。

  • 非大模型相关的IT系统架构改造或通用数字化转型咨询。

  • 客户现有业务系统的代码开发与功能改造。

  • 客户侧代码开发与模型算法研发。

  • 第三方闭源软件或客户自研框架的改造、安装、测试、故障诊断与优化。

1:仅支持基于现有训推框架(如百炼、PAI-LightLLM、vllm、sglang、HuggingFace、DeepSpeed、vLLM)之上的优化服务,不涉及框架级改造及二次开发。

2:对于不在云上稳定性保障服务范围内的第三方软件问题,客户可登录阿里云社区获取免费咨询,或联系云市场商家寻求帮助。

3. 前提条件

3.1 智能体优化技术服务前提条件

  • 客户应提前至少15个自然日提出服务申请,以便完成可行性评估与资源准备。

  • 提供必要的非生产环境访问权限、远程通道及关键干系人联系方式。

  • 指定一名具备决策权的项目经理作为对接负责人。

  • 在阿里云提交实施计划后,须在5个工作日内以书面形式(含邮件)确认方案。

3.2 大模型后训练技术服务前提条件

  • 客户应提前至少15个自然日提出服务申请;若涉及大规模数据处理或算力迁移,建议提前30天申请。

  • 提供必要的非生产环境、数据样例、API接口文档及远程访问权限。

  • 指定项目经理全程参与需求对齐、方案评审与进度协调。

  • 审核并通过阿里云制定的《工程实施计划》,无正当技术理由不得否决已确认方案。

  • 按约定时间参与关键节点评审与试运行验证。

  • 不包含强化学习奖励函数设计,需由客户提供奖励函数。

3.3 大模型算力优化技术服务前提条件

  • 客户应提前至少15个自然日提出服务申请;若涉及大规模算力迁移,建议提前30天。

  • 提供模型代码、训练脚本、数据样本及目标硬件规格。

  • 开放远程访问权限,允许阿里云团队进入客户环境进行诊断。

  • 明确性能优化目标(如期望QPS、延迟阈值)。

  • 配合完成迁移演练与效果验证。

3.4 大模型技术服务增补服务前提条件

  • 客户应提前至少15个自然日提出服务申请;若涉及大规模算力迁移,建议提前30天。

  • 提供模型代码、训练脚本、数据样本及目标硬件规格。

  • 开放远程访问权限,允许阿里云团队进入客户环境进行诊断。

  • 明确性能优化目标(如期望QPS、延迟阈值)。

  • 配合完成迁移演练与效果验证。

3.5 分工边界

3.5.1 客户与阿里云

  • 客户购买大模型技术服务。

  • 针对该服务的业务目标,双方商定并确认具体业务目标及范围。

3.5.2 客户

  • 确定业务目标。

  • 提供场地、设备、必要的非生产环境及远程访问通道、权限等,配合阿里云开展服务。

  • 配合阿里云调研现有算法模型训练配置,算力利用情况,参与具体的计划实施,如部署方案,迁移方案制定等。

  • 审核阿里云制定的实施计划,并以书面或邮件方式确认阿里云提出的具体实施计划。客户无正当技术理由,不得否定阿里云提供的技术建议或方案。

  • 执行具体的迁移,部署,优化方案。

  • 作为运维主体,负责相关运维工作。

  • 授权阿里云针对算力服务性能进行7×24小时监控和分析。

3.5.3 阿里云

  • 负责项目的组织,成立专家方案实施团队。

  • 了解客户业务目标、范围,制定实施计划, 并获得客户的书面(包括但不限于电子邮件)确认。

  • 提供本工作说明书规定的各项服务目录,如业务目标、部署方案,评测方案,优化方案等,提供可行建议,确保算力资源使用正常。

3.5.4 完工标准

  • 提交《服务验收报告》并获得客户验收认可。

3.6 服务项

服务内容:阿里云针对客户的业务目标,包含以下服务:

3.6.1 智能体优化技术服务项

1)智能体优化咨询基础包

提供智能体优化咨询基础服务,包含:

  • 场景需求调研,提供大模型场景调研分析服务,包括:

    • 对客户的业务痛点和大模型应用需求进行访谈与确认。

    • 调研现有知识库、数据资产、API接口等可用资源情况。

    • 每包支持:单个业务场景,3场次调研会议。

  • 技术现状调研,提供大模型相关技术现状调研分析服务,包括:

    • 分析客户当前计算资源、网络环境、技术架构现状。

    • 明确企业知识源、数据库、应用系统的接入能力与接口规范。

    • 每包支持:5个主要系统的技术对接评估。

  • 智能体编排方案优化设计,提供智能体编排方案设计服务,包括:

    • 输出《智能体链路设计方案》,包括智能体编排链路、节点设计、模型选择、评测方式及标准等。

    • 每包支持:1 个链路设计方案,且方案中节点数量不超过 5 个。

  • 上下文工程(Context Engineering)深度优化,提供面向场景的提示词深度优化服务,包括:

    • 通义千问模型提示词兼容化改写。

    • 提示词效果评测,不超过 5 个模型,不超过 1000 条数据。

    • 每包支持:不超过 3 轮提示词优化,每轮优化评测不超过 5 个模型,不超过 1000 条评测数据。

2)智能体优化实施基础包

提供基于百炼构建智能体服务,包括以下工作内容:

  • 提供基于百炼进行智能体效果优化、测试、发布服务,支持通过百炼 MCP Server 调用客户现有工具(需客户自行完成工具接入)。

  • 提供基于百炼完成Agent 方案效果验证,提供Agent 高可用部署方案,支持客户完成生产级别Agent 实施。

  • 支持企业知识库的向量化优化与检索增强(RAG)优化,包含:文档接入与清洗(PDF/Word/TXT等常见格式)优化方案;分段处理、元数据提取与向量索引配置建议;RAG检索链路集成与效果验证。

  • 每包支持:不超过 5 个智能体节点,5 个 MCP 工具调用,100份标准文档(单份不超过 10页);基础包不包含 Multi_Agent、长短期记忆、ReAct/CoT/Reflection/Task Planning 型 Agent 设计,如需包含,需叠加增补包。

3.6.2 大模型后训练技术服务项

1)后训练支持包

  • 针对特定任务目标提供监督微调(SFT)或强化学习(RLHF)技术支持。

  • 提供数据格式规范与样本质检建议(不含微调数据准备)。

  • 配置训练脚本(LoRA/P-Tuning等轻量化方法)。

  • 协助执行训练任务(基于客户提供的算力资源)。

  • 输出效果对比评测报告。

  • 每包支持:1个训练任务 + 1个模型版本+1种算法(如LoRA),模型训练迭代次数:3次,数据量5万条样本。

2)大模型评测支持包

  • 根据客户的评测目标设计核心指标,如准确率、相关性、合规性与响应完整性等。

  • 搭建自动化评测链路,支持批量推理、打分与结果聚合分析流程。

  • 输出多维度评测报告,包含性能、问题归因及后续优化建议。

  • 注意,本服务不含评测数据集构建,需客户自行提供。

  • 每包支持:1个业务场景的评测,单包默认支持:

    • 评测集条数:5W

    • 评测模型数量:3

    • 评测轮次:3

3.6.3 大模型算力优化服务项

1)算力优化基础服务

包含以下服务内容,可根据需要二选一:

  • 镜像适配:

    • 根据目标GPU类型进行模型镜像适配。

    • 编译CUDA、PyTorch、Transformers等依赖库。

    • 容器化打包(Dockerfile生成、镜像交付)。

    • 兼容性测试与异常定位。

  • 推理服务部署:

    • 将训练完成的模型部署为在线推理服务(支持PAI-EAS、Triton、TGI)。

    • API接口调试与流式响应支持。

    • 基于推理框架能力对模型进行量化(INT8/GPTQ)部署以降低显存占用。

    • 性能压测(QPS、延迟、并发能力评估)。

    • 输出《推理性能评测报告》。

  • 每包支持 1个模型实例 + 1GPU卡类型。

  • 推理服务部署区分环境(dev/staging/prod),各环境单独计费。

2)训练效率优化服务

包含算力优化基础服务内容,同时增加以下服务内容:

  • 针对训练任务进行全流程性能调优。

  • 分布式训练策略优化(ZeRO-2/3、DDP、FSDP)。

  • 显存占用优化与吞吐率提升。

  • Checkpoint管理与容错机制建议。

  • 输出《训练性能优化建议书》。

  • 每包支持 1个训练任务 + 1个模型 + 1GPU卡类型。

3.6.4 大模型技术服务增补服务服务项

每个增补服务包工作范围,可执行以下服务之一。

1)智能体优化增补服务

用于扩展“智能体优化技术服务”中任一服务包的能力上限。每个增补包支持以下任意一项的(满足其一即可):

  • 智能体优化咨询扩展项(任选 2 项):

    • +1场调研会议(60分钟)

    • +1个系统技术评估

    • +1个节点的设计容量

    • +1 个模型 1 轮提示词优化

  • RAG 优化扩展项:

    • +100份标准文档处理(单份10页)

  • 智能体优化实施扩展项(任选 1 项):

    • Multi-Agent协作流程编排方案设计与效果验证

    • 短期/长期记忆机制设计(Session + Vector DB)方案设计与效果验证

    • 工具调用与函数路由(Function Calling)方案设计与效果验证

    • 自主决策增强(ReAct / CoT思维链)方案设计与效果验证

    • 反思与自我修正机制(Reflection)方案设计与效果验证

    • 动态任务分解与规划(Task Planning)方案设计与效果验证

    • 不超过 1 个智能体节点,1 个 MCP 工具调用

须与“智能体优化技术服务”同时或先后采购,不可单独用于全新项目启动,支持灵活组合,满足轻量级增量需求或高阶能力补充。

2)大模型后训练增补服务

用于扩展“大模型后训练技术服务”中任一服务包的能力上限,适配复杂或渐进式实施需求;每个增补包支持以下任意一项扩展(满足其一即可):

  • 后训练支持包的增补(任选其一):

    • +1 次模型训练迭代

    • +5万条微调数据处理容量

    • 后训练数据增广方案设计

  • 评测支持包的增补(任选其一):

    • +5万条评测样本处理容量

    • +2个额外评测模型支持

    • +2轮额外评测周期

须与“大模型后训练技术服务”同时或先后采购,不可单独用于全新项目启动;支持灵活组合,满足轻量级增量需求或高阶能力补充。

3)算力优化通用增补服务

用于扩展“算力优化服务”中任一服务包的能力上限,适配复杂或渐进式实施需求;每个增补包支持以下任意一项扩展(满足其一即可):

  • 算力优化基础服务增补(任选其一):

    • +1 个模型类型

    • +1 种 GPU 类型

    • +1 个部署环境

  • 训练效率优化服务(任选其一):

    • + 1个训练任务

    • + 1个模型

    • + 1GPU卡类型

须与“大模型算力优化服务”同时或先后采购,不可单独用于全新项目启动;支持灵活组合,满足轻量级增量需求或高阶能力补充。

4. 服务SLA

提供大模型服务技术经理。

提供《大模型技术服务工作计划书》及《大模型技术服务验收报告》。

5. 服务流程

5.1 智能体优化技术服务流程

申请时间限制:客户须至少应于大模型工程技术服务开始日之前提前15个自然日提出申请。

image.png

5.2 大模型后训练技术服务流程

申请时间限制:客户须至少应于大模型工程技术服务开始日之前提前15个自然日提出申请。

image.png

5.3 大模型算力优化服务流程

申请时间限制:客户须至少应于大模型算力优化服务开始日之前提前15个自然日提出申请。

image.png

6. 验收标准

阿里云提供以下交付物,视为服务验收合格:

  1. 阿里云交付《大模型技术服务工作计划书》及《大模型技术服务验收报告》,并获得客户书面确认(含电子邮件形式)。

  2. 《大模型技术服务工作计划书》及《大模型技术服务验收报告》内容包括:

    1. 服务开始之前,阿里云对客户大模型需求的分析和大模型技术选型建议。

    2. 基于客户的业务特性和业务需求,阿里云就客户业务实施提供技术方案建议。

7. 完成标志

实施结束并完成客户验收工作。