基本概念
本文汇总使用阿里云百炼过程中涉及的基本概念,方便您查询和了解相关概念。
功能清单
分类 | 功能 | 说明 |
首页 | 展示平台的使用流程、推荐热门模型以及调用数据概况等。 | |
我的模型 | 管理所有已开通、已部署的模型,包括模型广场已开通模型及经过训练并完成部署的模型,支持针对模型进行调用、评估、训练。 | |
在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等接入到企业解决方案中。 | ||
通过选择模型,可选择1-3个模型快速体验或对比模型效果 | ||
Prompt工程通过设计和改进prompt使大模型能够更准确、可靠地执行特定任务,平台为您提供了Prompt模板、Prompt优化等一系列Prompt工程工具。 | ||
模型调优支持多种训练方式,明确训练方向并选择合适的训练数据及参数,训练后的模型效果将更加符合业务需求。 | ||
已训练/系统预置的模型需要通过模型部署提供服务,支持预付费和后付费两种部署模式,可依据业务需求进行选择。 | ||
通过构建好的评测集进行模型评测,系统基于评测集将完成推理预测,完成预测结果标注后可查看评测报告。 | ||
训练集支持多轮/单轮训练数据构建,评测集可用于模型的评测,支持在线编辑与版本管理。 | ||
我的应用 | 应用是阿里云百炼平台输出大模型能力的最小单位。创建应用后,通过对应的PaaS接口即可调用大模型能力,可在应用管理中管理创建的各类模型调用应用。 | |
通过上传自己的测试数据,以对话的形式进行大模型应用的测试,支持展示测试过程中的debug等信息,方便开发者调试和定位问题。 | ||
在这里您可以挑选官方预置完整工程链路的应用或预置场景prompt的应用,通过应用将通义系列大模型接入到业务解决方案中。 | ||
在这里您根据业务或场景所需选择官方系统插件,或者引入企业自定义API插件,增强大模型交互能力。开启插件功能,调用大模型时根据实际输入内容自动判断应答链路。 | ||
通过选择评测集或拉取线上日志,批量评测应用效果,支持自定义评测维度,评测过程信息透明化,全方位评测应用效果。 | ||
支持上传企业知识,与大模型能力结合,用于企业特定知识领域的问答。只适用于【企业知识检索增强】系列应用,暂不支持与其他大模型联动使用。当前支持word、pdf、非结构化文档,以及excel格式的问答数据。同时提供完整的数据管理SDK供开发接入。 | ||
您可以在这里查看专属模型的用量统计,以获得模型的使用情况。 | ||
汇总所有需要开通或申请的应用、模型及服务,需要手动开通。 | ||
访问阿里云API的密钥。 | ||
依据评测需求增加维度模板,支持自定义多级维度、多级分数,预置多种维度模板,可应用于主流评测任务。 | ||
支持引入阿里云RAM子账号,实现多用户同时操作。 | ||
为阿里云子账号进行角色管理,以实现功能权限隔离。 | ||
业务空间管理 | 支持一个企业账号创建多个业务空间,便于业务间数据隔离和管理。 | |
消息中心 | 消息中心 | 针对企业数据管理、模型训练以及系统其它功能的消息通知汇总。 |
产品名词解释
模块 | 概念 | 解释 |
模型推理 | QPS | Queries Per Second,每秒处理查询次数。如默认QPS=5,即API每秒最多可以处理5个请求。 |
RPM | Requests Per Minute,每分钟处理请求数。如默认QPS=5,默认RPM=300,即API每分钟最多可以处理300个请求。 | |
TPM | Tokens Per Minute,每分钟处理tokens数(输入+输出)。如默认QPS=5,TPM=300k,即API最多可以消耗300k(30万)tokens,即每个服务平均处理1000tokens。 | |
在通义千问模型基础之上,专项增强「基于知识检索的大模型生成能力」,支持基于结构化/非结构化内容的文字生成场景。 | ||
知识标签是知识检索范围的唯一标识。用于区分应用识别调用知识时的检索范围。 | ||
支持企业通过API方式设定输入和输出参数,将大模型与外部系统做联动。 | ||
基于流程画布创建应用。流程编排是一种面向开发者的可视化开发工具,支持LLM、API、脚本等类型节点,旨在简化接入大型语言模型(LLM)流程,同时提供应用流程的全生命周期管理,包括流程的编排、试验、部署等,为开发者提供自定义AI应用开发一站式服务。 | ||
Prompt | 即提示词,简单的理解为它是给大模型的指令。它可以是一个问题、一段文字描述,甚至可以是带有一堆参数的文字描述。大模型会基于 prompt 所提供的信息,生成对应的文本或者图片。 | |
您可以通过设计不同Prompt模板来满足垂直场景需求,而无需每次拼接完整Prompt。 | ||
对Prompt语料进行内容质量和结构上的优化,便于获得更符合期望的大模型推理结果。 | ||
训练集 | 构建合适训练集,通过模型调优可增强模型能力,提升预测效果,平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。 | |
评测集 | 构建合适的评测集,通过模型评测评估模型效果,发现模型问题,评测集包括Prompt及Completion,支持在线编辑及管理功能。 | |
全参训练 | 全参训练通过全量更新模型参数的方式进行学习,训练时间较长,收敛速度较慢,可实现模型新能力的学习和全局效果的优化提升。 | |
高效训练 | 高效训练采用低秩适应的方式,通过矩阵分解的方法,更新分解后的低秩部分参数,训练时间较短,收敛速度较快,适用于模型局部效果优化。 | |
RLHF训练 | RLHF训练通过在强化学习的训练过程中加入奖励模型的方式,实现强化学习结果的持续性自动优化,从使得模型效果显著符合预期,功能开发中,敬请期待.. | |
预置模型 | 预置模型为未经过任何训练的原始模型,您可以通过选择基础模型进行训练从而得到自创模型,不同的基础模型的参数和能力不同,我们将持续推出不同能力方向的模型。 | |
自定义模型 | 自定义模型版本是基于您训练过的模型进行再次训练,从而调优模型效果,请注意,由于大模型的训练原理,多次训练模型时,后序训练易丢失前序训练已习得的能力,建议后序训练数据需要采样或保持前序训练数据。 | |
循环次数 | 循环次数代表模型训练过程中模型学习数据集的次数,可理解为看几遍数据,一般建议的范围是1-3遍即可,可依据需求进行调整。默认循环次数为10次。 | |
批次大小 | 批次大小代表模型训练过程中,模型更新模型参数的数据步长,可理解为模型每看多少数据即更新一次模型参数,一般建议的批次大小为16/32,表示模型每看16或32条数据即更新一次参数。 | |
学习率 | 学习率代表每次更新数据的增量参数权重,学习率数值越大参数变化越大,对模型影响越大,一般范围为:2e-5至2e-8。 | |
Training Loss | Training Loss 代表针对训练数据学习的拟合程度,曲线一般呈现下降趋势,Loss越小,表示训练数据拟合程度越高,过小的Loss易导致数据过拟合,需要根据实际训练过程进行判断。 | |
Validation Loss | Validation Loss代表针对验证集学习的拟合程度,曲线一般呈现先下降后上升趋势,Loss越小,表示验证数据拟合程度越高,优秀的模型效果往往出现Validation Loss的最小值节点,此时拟合程度最佳,训练效果最好。 | |
Validation Token Accuracy | Validation Token Acc代表针对验证集学习的准确程度,曲线一般呈现上升趋势,训练过拟合后会呈现下降趋势,优秀的模型效果往往出现在Validation Token Acc的最大值节点,此时预测准确率最高,训练效果最好。 | |
超参配置 | 学习率调整策略 | 选择不同的学习率策略,动态地改变模型在训练过程中更新权重时所采用的学习率大小。 |
验证步数 | 训练阶段针模型的验证间隔步长,用于阶段性评估模型训练准确率、训练损失推荐范围:[1,2147483647]。 | |
序列长度 | 训练数据的序列长度,单个训练数据样本的最大长度,超出配置长度将自动截断。推荐范围:[500,2048] | |
学习率预热比例 | warmup占用总的训练steps的比例。推荐范围:(0,1) | |
权重衰减 | L2正则化,让权重衰减到更小的值,在一定程度上减少模型过拟合的问题。推荐范围:(0,0.2) | |
梯度存储 | 是否开启gradient checkpointing, 默认为True. 该参数可以用于节约显存, 虽然这会略微降低训练速度. 该参数在max_length较大, batch_size较大时作用显著。 |
- 本页导读 (1)