文档

百川开源大语言模型

更新时间:

重要

模型定制API调用需"申请体验"并通过后才可使用,否则API调用将返回错误状态码。

概述

百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过灵积模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。

当前在灵积平台提供模型定制能力的百川系列模型分别来自于ModelScope社区模型:

您可以使用上述模型名调用模型定制的API创建定制任务,并将定制任务成功后产生的新模型通过模型部署API部署为一个可调用的服务。

数据准备

对百川系列模型进行定制时,所需的训练数据格式为json数据,您可以提供多条json样本在一个jsonl文件中。注意每行仅包含一条json。

定制数据格式

在准备sft训练数据阶段的过程中需要构造出对话的结构,需要包含 Human: 以及 Assistant:两个特殊符值,并且在两个值前均加上换行字符\n\n, 注意 \n\n 与特殊符值间没有额外空格等符号。

同时,将问题或者描述紧跟放在Human: 后,将预期返回的答案放在Assistant:后, 注意 Assistant:与前面的文本仅有\n\n,没有额外空格等符号。

具体参考实例如下:

{"text": "\n\nHuman: 谁在文艺复兴时期绘制人体\n\nAssistant: 文艺复兴时期是一个关于艺术、文化和学术的复兴运动,在这个时期,许多艺术家都绘制了人体。"}
{"text": "\n\nHuman: I need a picture of someone crying.\n\nAssistant: I'm sorry, but as an AI language model, I do not have the ability to display images."}
说明

您提供的数据长度应大于您在超参中设置的batch_size,数据长度指jsonl文件中json数据的行数。

超参设置

无论使用命令行还是通过http api的形式进行模型定制,您均可以设置如下超参数。所有超参数均有默认值。

超参

类型

含义

取值范围

n_epochs

Integer

训练数据所需的轮数,每一轮epoch,用户所提供的数据会被模型完整学习一遍。

正整数

batch_size

Integer

单次传递给模型用以训练的数据(样本)个数,一般单次训练数据个数越大,占用显存会越多,同时单步训练速度会越慢,但是训练效果会越好

7b模型支持[1,2,4,8,16,32]

13b模型支持[1,2,4,8,16]

learning_rate

Float

学习率,决定了每次参数更新时参数应该更新的幅度大小,越大的幅度,会越快收敛,但是也容易导致不稳定,越小的幅度,训练会较稳定,但是收敛会慢一些

默认为2e-5

使用限制

当您对百川系列模型定制时,模型定制功能会有如下限制存在

  • 运行中的定制任务数:1个

  • 可创建的定制任务数(不包括失败及取消的):5个

当超过如上限制后,您的请求会收到http错误码429,并在response中包含特定信息

定制任务状态说明

我们对定制任务设置了多种状态,具体如下

状态

含义

PENDING

正在准备训练所需资源

RUNNING

训练正在进行中

SUCCEEDED

训练成功

FAILED

训练失败

CANCELED

训练取消

定制任务错误码说明

当定制任务失败时,您可以通过定制任务返回的code信息来判断错误发生的原因。当您收到的错误码不在下方表格所列范围内时,请联系技术支持。

错误码

含义

处理方案

13

数据格式错误,不应包含空行

修正您提供的测试数据

14

数据格式错误,数据不可解析为json

修正您提供的测试数据

15

数据格式错误,数据长度不够训练最低要求

您提供的数据集行数应大于您设置的batch_size,当您未设置该值时,系统会使用默认值16

  • 本页导读 (0)
文档反馈