训练集与评测集

SFT 训练集

SFT ChatML（Chat Markup Language）格式训练数据，支持多轮对话和多种角色设置。

不支持OpenAI 的name、weight参数，所有的 assistant 输出都会被训练。

# 一行训练数据（json 格式），展开后典型结构如下:
{"messages": [
  {"role": "system", "content": "系统输入1"}, 
  {"role": "user", "content": "用户输入1"}, 
  {"role": "assistant", "content": "期望的模型输出1"}, 
  {"role": "user", "content": "用户输入2"}, 
  {"role": "assistant", "content": "期望的模型输出2"}
  ...
]}

system/user/assistant 区别请参见文本生成模型概述，训练数据集样例：SFT-ChatML格式示例.jsonl、SFT-ChatML格式示例.xlsx（xls、xlsx 格式只支持单轮对话）。

单条训练数据的所有 assistant 行都支持"loss_weight"参数，用于设置该行在训练时的相对重要性。（设置范围0.0 ~ 1.0，数值越大，重要性越高）

该参数属于邀测参数，如需使用，请联系您的商务经理。

 {"role": "assistant", "content": "期望的模型输出1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "期望的模型输出2", "loss_weight": 0.5}

SFT 思考模型（thinking）

训练数据支持多轮对话和多种角色设置，但只能针对最后的 assistant 输出进行训练，一行训练数据展开后结构如下：

思考标签前后的若干个\n必须要保留。

# 一行训练数据（json 格式），展开后典型结构如下:
{"messages": [
  {"role": "system", "content": "系统输入1"}, 
  {"role": "user", "content": "用户输入1"}, 
  {"role": "assistant", "content": "模型输出1"}, --中间的 assitant 输出不应添加 <think> 标签
   ...
  {"role": "user", "content": "用户输入2"}, 
  {"role": "assistant", "content": "<think>\n期望的思考内容2\n</think>\n\n期望的输出2"} --思考内容只能包含在最后一个 assistant 输出中。 
]}

system/user/assistant 区别请参见文本生成模型概述，训练数据集样例：SFT- 深度思考内容示例.jsonl。

也可以在训练样本中设置模型不输出<think>标签， 如果使用这种输出方式，模型训练完成后不建议再开启思考模式进行调用。

{"role": "assistant", "content": "期望的模型输出2"}  --告诉模型不开启思考

单条训练数据最后的 assistant 行支持"loss_weight"参数，用于设置该条数据在训练时的相对重要性。（设置范围0.0 ~ 1.0，数值越大，重要性越高）

该参数属于邀测参数，如需使用，请联系您的商务经理。

 {"role": "assistant", "content": "<think>\n期望的思考内容2\n</think>\n\n期望的输出2", "loss_weight": 1.0}

SFT 图像理解（千问VL）

不支持OpenAI 的name、weight参数，所有的 assistant 输出都会被训练。

system/user/assistant 区别请参见文本生成模型概述。ChatML 格式训练数据样例：

# 一行训练数据（json 格式），展开后典型结构如下：
{"messages":[
{"role":"user",
"content":[
{"text":"用户输入1"},
{"image":"图像文件名1"}]},
{"role":"assistant",
"content":[
{"text":"模型期望输出1"}]},
{"role":"user",
"content":[
{"text":"用户输入2"}]},
{"role":"assistant",
"content":[
{"text":"模型期望输出2"}]},
...
...
...
]}

压缩包要求：

1. 压缩包格式：ZIP。最大支持 2 GB， ZIP 包内文件夹、文件名仅支持 ASCII 字符集中的字母 (a-z, A-Z)、数字 (0-9)、下划线 (_)、连字符 (-)。

2. 训练文本数据固定为 data.jsonl，并且位于压缩包的根目录下，应确保压缩后打开 zip 文件，直接就能看到 data.jsonl 文件。

3. 图片单张尺寸的宽度和高度均不得超过 1024px，最大不超过10MB，支持 .bmp, .jpeg /.jpg, .png, .tif /.tiff, .webp 格式。

4. 图片文件的名称不能重复，即使分布在不同的文件夹中。

5. 压缩包目录结构：

   单层目录（推荐）

   图片文件与 data.jsonl 文件均位于压缩包根目录下。

   Trainingdata_vl.zip
      |--- data.jsonl #注意：外层不能再包裹文件夹
      |--- image1.png
      |--- image2.jpg

   多层目录

   1. data.jsonl 必须在压缩包根目录下。

   2. data.jsonl 内只需要声明图像文件名，不需要声明文件路径。例如：

      正确示例：image1.jpg；错误示例：jpg_folder/image1.jpg。

   3. 图像文件名应在压缩包内全局唯一。

   Trainingdata_vl.zip
       |--- data.jsonl #注意：外层不能再包裹文件夹
       |--- jpg_folder
       |   └── image1.jpg
       |--- png_folder
           └── image2.png

DPO 数据集

DPO ChatML 格式训练数据，一行训练数据展开后结构如下：

system/user/assistant 区别请参见文本生成模型概述，训练数据集样例：DPO ChatML格式样例.jsonl。

# 一行训练数据（json 格式），展开后典型结构如下:
{"messages":[
  {"role":"system","content":"系统输入"},
  {"role":"user","content":"用户输入1"},
  {"role":"assistant","content":"模型输出1"},
  {"role":"user","content":"用户输入2"},
  {"role":"assistant","content":"模型输出2"},
  {"role":"user","content":"用户输入3"}
 ],
 "chosen":
   {"role":"assistant","content":"赞同的模型期望输出3"},
 "rejected":
   {"role":"assistant","content":"反对的模型期望输出3"}}

模型将 messages 内的所有内容均作为输入，DPO 用于训练模型对用户输入3的正负反馈。

针对深度思考的内容，需要使用<think>标签包裹：

{"role": "assistant", "content": "<think>期望的模型思考内容</think>期望的模型输出"}

单条训练数据的"chosen"模块支持"loss_weight"参数，用于设置该条训练数据在训练中的相对重要性。（设置范围0.0 ~ 1.0，数值越大，重要性越高）

该参数属于邀测参数，如需使用，请联系您的商务经理。

 "chosen":
   {"role":"assistant","content":"赞同的模型期望输出3", "loss_weight": 1.0},

CPT 训练集

CPT 纯文本格式训练数据，一行训练数据展开后结构如下：

{"text":"文本内容"}

训练数据集样例：CPT-文本生成训练集示例.jsonl