在控制台使用模型调优

模型调优流程

步骤一：选择调优方式

前往模型调优页面，点击“训练新模型”按钮。

SFT 与 DPO 如何选择

SFT（有监督微调，Supervised Fine-Tuning）目的是通过针对性的数据集和训练，提升模型在特定场景/业务中的表现，适合基于大量数据为您的应用进行模型定制，训练数据集数据只提供正样本。

DPO（直接偏好优化，Direct Preference Optimization）训练数据集数据同时提供正负样本，目的是引入负反馈，降低幻觉，使得模型输出对齐人类的价值观或偏好，适合基于用户反馈，在应用上线后快速迭代优化模型表现。

{"messages": [
  {"role": "system", "content": "<系统输入1>"}, 
  {"role": "user", "content": "<用户输入1>"}, 
  {"role": "assistant", "content": "<模型期望输出1>"}, 
  {"role": "user", "content": "<用户输入2>"}, 
  {"role": "assistant", "content": "<模型期望输出2>"}
  ...
  ...
  ...
  ]
}

{"messages":[
  {"role":"user",
    "content":[
      {"text":"<用户输入1>"},
      {"image":"<图像文件名1>"}]},
  {"role":"assistant",
    "content":[
      {"text":"<模型期望输出1>"}]},
  {"role":"user",
    "content":[
      {"text":"<用户输入2>"}]},
  {"role":"assistant",
    "content":[
      {"text":"<模型期望输出2>"}]},
  ...
  ...
  ...
 ]}

{"messages":[
  {"role":"system","content":"<系统输入>"},
  {"role":"user","content":"<用户输入1>"},
  {"role":"assistant","content":"<模型输出1>"},
  {"role":"user","content":"<用户输入2>"},
  {"role":"assistant","content":"<模型输出2>"},
  {"role":"user","content":"<用户输入3>"}],
 "chosen":
   {"role":"assistant","content":"<赞同的模型期望输出3>"},
 "rejected":
   {"role":"assistant","content":"<反对的模型期望输出3>"}}

两种训练方式的数据量要求请参见数据集的规模要求。

百炼推荐您以先 SFT 后 DPO 的顺序使用模型调优：

1. 在应用上线前，先收集足够多（1000+）的特定场景/业务的正样本，即收集场景/业务输入+模型期望输出，进行SFT 训练。

2. 您的应用试运行/上线后，收集足够多（100+）的用户反馈（如：点赞、点踩、反馈）或者 bad case，将这些数据制作成 DPO 训练集，进行 DPO 训练。

模型选择

如果您是第一次进行模型调优，请选择您期望的预置模型。

如果您是因为模型训练效果不好需要再次训练某个模型，请选择自定义模型 > 您需要二次训练的模型。

支持的预置模型：

全参训练与高效训练

• 全参训练通过全量更新模型参数的方式进行学习。

• 高效训练采用低秩适应（Low-Rank Adaptation，LoRA）的方式，通过矩阵分解的方法，更新分解后的低秩部分参数。

由于两种训练方式的费用相同，百炼推荐您如果模型支持全参训练，请优先选择全参训练，因为全参训练效果比高效训练效果要好，性价比更高。

步骤二：选择训练数据

数据集构建技巧请参考数据集构建技巧。上传微调数据集请前往模型数据页面。

选择验证数据 > 自动切分 的比例为训练集 : 验证集 = 8 : 2。 如果您希望改变这个比例，您可以手动从完整数据集中切分出验证集单独上传， 然后 选择验证数据 > 选择验证集 > 选择您手动切分上传的验证集。

步骤三（可选）：添加混合训练数据

百炼提供添加混合训练数据功能，您可以将您的训练数据与千问通用多领域、多行业、多场景数据混合训练，从而提高训练效果避免模型基础能力的遗失。

百炼推荐根据您的实际业务或场景添加合适的混合训练数据类目和比例，比如自定义场景数据：“中文-对话”场景 = 1 ：1，您就可以把“中文-对话”场景倍率设为 1.0 倍。

步骤四：配置超参

如果您没有微调经验，百炼推荐您尽量不要调整“更多配置”内的参数设置。

超参介绍：（并不是所有模型都支持所有参数的调节，请以控制台显示为准）

学习率调整策略介绍

“学习率调整策略” 是在 超参配置 > 更多配置 下的第一个配置，配置包含8种不同的策略。

策略详情请参见：

步骤六：训练模型

点击“开始训练” > 确认“模型调优计费提醒” > 模型开始训练

特定模型训练时点击“查看”按钮可以查询模型训练详情，包括：训练损失（Training Loss）、验证损失（Validation Loss）、验证准确率（Validation Token Accuracy）、模型训练过程中实时产生的日志。

训练完成后，请确认训练损失（Training Loss）与验证损失（Validation Loss）的差异变化趋势。

1. 如果训练损失逐渐减小而验证损失逐渐增大，说明模型已经过拟合训练数据，训练可能失败，训练效果可能不佳。建议按照以下推荐方法（推荐程度有先后顺序）进行优化，重新训练，提升训练效果：

   1. 使用数据增强，增加训练数据多样性和数据量。

   2. 收集更多训练数据，增加训练数据多样性和数据量。

   3. 调整超参，包括：减少“训练次数”、减小“学习率”、减小“批次大小”、增大“权重衰减”、提高“LoRA丢弃率”、提高“学习率预热比例”。

2. 如果训练损失没有明显变化或逐渐增大（不常见），说明模型欠拟合训练数据，训练失败。建议按照以下推荐方法（推荐程度有先后顺序）进行优化，继续训练：

   1. 检查数据质量，确保数据清洗充分。

   2. 调整超参，包括：增大“训练次数”、增大“学习率”、增大“批次大小”、减小“权重衰减”、降低“LoRA丢弃率”、降低“学习率预热比例”。

3. 如果没有上述情况请继续后续步骤。

步骤七：部署模型

使用百炼的模型部署功能部署训练好的自定义模型，部署好后就可以对微调好的模型进行评测。模型部署相关信息请参见帮助中心：模型部署。

步骤八：评测模型

使用百炼模型评测功能评估自定义模型的训练效果，相关信息请参见帮助中心：模型评测简介。

常见问题

什么时候可以使用模型调优功能？

• 如果您并不是需要对文本生成模型进行调优，请直接前往Paraformer语音识别热词定制与管理页面。

• 文本生成模型调优虽然能在特定业务/场景取得非常好的效果，但有以下限制：

  • 需要消耗非常多的时间成本，包括：构建一个有效（1000+）SFT 数据集、收集足够的（100+）Bad Case 构建有效 DPO 数据集、模型优化迭代速度慢等。

  • 调优和调优后的模型使用费用都相对较高，具体细节请参考计费项与定价和计费项与定价。（最低为20元/小时）

• 百炼推荐您在考虑使用文本生成模型调优前先尝试使用 Prompt 工程（Prompt Engineering）和插件调用（Function Calling）定制化您的应用，模型调优也通常作为改进模型表现“最后的手段”。因为：

  1. 在许多任务中，模型最初可能表现不佳，但通过应用正确的 Prompt 技巧可以改进结果，不一定需要使用模型调优。

  2. 迭代优化 Prompt、插件，比模型调优的迭代更敏捷、成本更低，因为模型调优的迭代可能需要重新收集数据、清洗优化数据、收集 bad case、发起客户调研等。

  3. 即使最后一定要进行模型调优，最初的 Prompt 工程、插件迭代优化相关工作也不会浪费。您的这些前期工作可以充分地在构建调优数据集时复用（用于构建数据集的输入）。

• 您可以前往百炼的Prompt 最佳实践和插件概述学习相关知识，帮助您在不进行模型调优的情况下激发模型的最大潜力。

如果模型调优后，评测效果不好怎么办？

1. 如果您使用的是人工评测，请检查评测维度是否符合业务或场景。

2. 收集在模型评测时评测结果不佳的测试用例，统计分析评测结果不佳的原因，根据分析结果调整训练数据集，继续迭代微调模型。

3. 根据评测结果不佳的用例生成 DPO 用例，对模型进行 DPO 训练。

模型调优、模型部署、模型评测怎么收费？

模型调优计费方式与模型调用计费方式相同，但费用会更高。模型评测按照模型调用计费。训练好的模型在部署后只收取部署费用，不收取模型的调用费用。详细数据请参考计费项与定价。