LLM模型训练组件支持的LLM模型来源于PAI的快速开始中的部分LLM模型。
使用限制
仅支持DLC计算引擎。
可视化配置参数
您可以在Designer中,通过可视化的方式配置组件参数。
页签 | 参数 | 是否必选 | 描述 | 默认值 |
字段设置 | model_name | 是 | 模型名称。 | 无 |
训练输出OSS目录 | 否 | 如果为空,使用工作空间的默认路径。 | 无 | |
训练数据路径 | 否 | 训练数据路径,支持OSS和MaxCompute。如果已经连接到其他输入组件,可不填。数据格式请参见示例。 | 无 | |
验证数据路径 | 否 | 验证数据路径,可选,支持OSS和MaxCompute。如果已经连接到其他输入组件,可不填。数据格式请参见示例。 | 无 | |
参数设置 | 学习率 | 是 | 学习率。 | 0.00001 |
总的训练迭代epoch轮数 | 是 | 总的训练迭代epoch轮数。 | 5 | |
每个gpu训练batch_size | 是 | 每个gpu训练batch_size。 | 4 | |
最大序列长度 | 是 | 最大序列长度。 | 512 | |
lora_rank | 是 | lora_rank。 | 64 | |
梯度累积步数 | 是 | 梯度累积步数。 | 1 | |
执行调优 | GPU | 否 | 选择用于计算的GPU的ECS实例。 | 无 |
最大运行时长(秒) | 否 | 算法运行的最长时间。 | 无 |
相关文档
关于Designer组件更详细的内容介绍,请参见Designer概述。
更多关于LLM模型的说明,请参见快速开始(QuickStart)。
文档内容是否对您有帮助?