LLM模型训练

LLM模型训练组件支持的LLM模型来源于PAI的快速开始中的部分LLM模型。

使用限制

仅支持DLC计算引擎。

可视化配置参数

您可以在Designer中,通过可视化的方式配置组件参数。

页签

参数

是否必选

描述

默认值

字段设置

model_name

模型名称。

训练输出OSS目录

如果为空,使用工作空间的默认路径。

训练数据路径

训练数据路径,支持OSSMaxCompute。如果已经连接到其他输入组件,可不填。数据格式请参见示例

验证数据路径

验证数据路径,可选,支持OSSMaxCompute。如果已经连接到其他输入组件,可不填。数据格式请参见示例

参数设置

学习率

学习率。

0.00001

总的训练迭代epoch轮数

总的训练迭代epoch轮数。

5

每个gpu训练batch_size

每个gpu训练batch_size。

4

最大序列长度

最大序列长度。

512

lora_rank

lora_rank。

64

梯度累积步数

梯度累积步数。

1

执行调优

GPU

选择用于计算的GPUECS实例。

最大运行时长(秒)

算法运行的最长时间。

相关文档