使用 API 或命令行进行模型调优

SFT 训练集

SFT ChatML（Chat Markup Language）格式训练数据，支持多轮对话和多种角色设置，一行训练数据展开后结构如下：

不支持OpenAI 的name、weight参数，所有的 assistant 输出都会被训练。

{"messages": [
  {"role": "system", "content": "系统输入1"}, 
  {"role": "user", "content": "用户输入1"}, 
  {"role": "assistant", "content": "期望的模型输出1"}, 
  {"role": "user", "content": "用户输入2"}, 
  {"role": "assistant", "content": "期望的模型输出2"}
  ...
]}

system/user/assistant 区别请参见文本生成模型概述，训练数据集样例：SFT-ChatML格式示例.jsonl、SFT-ChatML格式示例.xlsx（xls、xlsx 格式只支持单轮对话）。

针对深度思考的内容，需要使用<think>标签包裹，训练数据集样例：SFT- 深度思考内容示例.jsonl。

思考标签前后的若干个\n必须要保留。

{"role": "assistant", "content": "<think>\n期望的模型思考内容\n</think>\n\n期望的模型输出"}  --正常输入深度思考内容
{"role": "assistant", "content": "<think>\n\n</think>\n\n期望的模型输出"}  --设置空的深度思考内容，用于告诉模型不要思考

SFT 图像理解（千问VL）训练集

SFT图像理解 ChatML 格式训练数据，一行训练数据展开后结构如下：

不支持OpenAI 的name、weight参数，所有的 assistant 输出都会被训练。

system/user/assistant 区别请参见文本生成模型概述。训练数据集样例：。

{"messages":[
  {"role":"user",
    "content":[
      {"text":"用户输入1"},
      {"image":"图像文件名1"}]},
  {"role":"assistant",
    "content":[
      {"text":"模型期望输出1"}]},
  {"role":"user",
    "content":[
      {"text":"用户输入2"}]},
  {"role":"assistant",
    "content":[
      {"text":"模型期望输出2"}]},
  ...
  ...
  ...
 ]}

针对深度思考的内容，需要使用<think>标签包裹：

{"role": "assistant", "content": "<think>期望的模型思考内容</think>期望的模型输出"}

压缩包要求：

1. 压缩包格式：ZIP。最大支持 2 GB， ZIP 包内文件夹、文件名仅支持 ASCII 字符集中的字母 (a-z, A-Z)、数字 (0-9)、下划线 (_)、连字符 (-)。

2. 训练文本数据固定为 data.jsonl，并且位于压缩包的根目录下，应确保压缩后打开 zip 文件，直接就能看到 data.jsonl 文件。

3. 图片单张尺寸的宽度和高度均不得超过 1024px，最大不超过10MB，支持 .bmp, .jpeg /.jpg, .png, .tif /.tiff, .webp 格式。

4. 图片文件的名称不能重复，即使分布在不同的文件夹中。

5. 压缩包目录结构：

   单层目录（推荐）

   图片文件与 data.jsonl 文件均位于压缩包根目录下。

   Trainingdata_vl.zip
      |--- data.jsonl #注意：外层不能再包裹文件夹
      |--- image1.png
      |--- image2.jpg

   多层目录

   1. data.jsonl 必须在压缩包根目录下。

   2. data.jsonl 内只需要声明图像文件名，不需要声明文件路径。例如：

      正确示例：image1.jpg；错误示例：jpg_folder/image1.jpg。

   3. 图像文件名应在压缩包内全局唯一。

   Trainingdata_vl.zip
       |--- data.jsonl #注意：外层不能再包裹文件夹
       |--- jpg_folder
       |   └── image1.jpg
       |--- png_folder
           └── image2.png

DPO 数据集

DPO ChatML 格式训练数据，一行训练数据展开后结构如下：

system/user/assistant 区别请参见文本生成模型概述，训练数据集样例：DPO ChatML格式样例.jsonl。

{"messages":[
  {"role":"system","content":"系统输入"},
  {"role":"user","content":"用户输入1"},
  {"role":"assistant","content":"模型输出1"},
  {"role":"user","content":"用户输入2"},
  {"role":"assistant","content":"模型输出2"},
  {"role":"user","content":"用户输入3"}
 ],
 "chosen":
   {"role":"assistant","content":"赞同的模型期望输出3"},
 "rejected":
   {"role":"assistant","content":"反对的模型期望输出3"}}

模型将 messages 内的所有内容均作为输入，DPO 用于训练模型对用户输入3的正负反馈。

针对深度思考的内容，需要使用<think>标签包裹：

{"role": "assistant", "content": "<think>期望的模型思考内容</think>期望的模型输出"}

CPT 训练集

CPT 纯文本格式训练数据，一行训练数据展开后结构如下：

{"text":"文本内容"}

训练数据集样例：CPT-文本生成训练集示例.jsonl

HTTP

Windows CMD 请将${DASHSCOPE_API_KEY}替换为 %DASHSCOPE_API_KEY%，PowerShell 请替换为 $env:DASHSCOPE_API_KEY

curl --request POST \
'https://dashscope.aliyuncs.com/api/v1/files' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--form 'files=@"/path/to/your/file.jsonl"' \
--form 'purpose="fine-tune"'\
--form 'descriptions="a sample fine-tune data file for qwen"'

返回结果：

{
  "request_id":"xx",
  "data":{
    "uploaded_files":[{
      "file_id":"976bd01a-f30b-4414-86fd-50c54486e3ef",
      "name":"qwen-fine-tune-sample.jsonl"}],
  　"failed_uploads":[]}
 }

Shell

需要安装 DashScope SDK，请参考安装SDK。

一次调用只能上传一个文件

dashscope files.upload -f '{替换为训练数据集的本地文件路径}' -p fine_tune -d 'training dataset'

返回结果：

Upload success, file id: 976bd01a-f30b-4414-86fd-50c54486e3ef

HTTP

curl 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/{job_id}' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

{
    "request_id":"c8b1d650-498e-432b-9346-c591e34e9622",
    "output":{
        "job_id":"ft-202410121111-a590",
        "job_name":"ft-202410121111-a590",
        "status":"SUCCEEDED",
        "finetuned_output":"qwen-turbo-ft-202410121111-a590",
        "model":"qwen-turbo",
        "base_model":"qwen-turbo",
        "training_file_ids":[
            "976bd01a-f30b-4414-86fd-50c54486e3ef"],
        "validation_file_ids":[],
        "hyper_parameters":{
            "n_epochs":1,
            "batch_size":16,
            "learning_rate":"1.6e-5",
            "split":0.9,
            "warmup_ratio":0.0,
            "eval_steps":1},
        "training_type":"sft",
        "create_time":"2024-10-12 11:43:09",
        "user_identity":"1396993924585947",
        "modifier":"1396993924585947",
        "creator":"1396993924585947",
        "end_time":"2024-10-12 13:20:33",
        "group":"llm",
        "usage":3518670 #调优消耗的 Token 量
    }
}

Shell

dashscope fine_tunes.get -j {job_id}

Fine-tune task success, fine-tuned model : qwen-turbo-ft-202410121111-a590

HTTP

curl 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/{job_id}/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json' 

可通过 offset 和 line 两个参数获取特定行数区间的日志。 Offset 用于设置日志输出开始的位置；line 用于设置日志最多输出多少行。

返回结果样例：

{
    "request_id":"1100d073-4673-47df-aed8-c35b3108e968",
    "output":{
        "total":57,
        "logs":[
            "{输出调优日志1}",
            "{输出调优日志2}",
            ...
            ...
            ...
        ]
    }
}

Shell

dashscope fine_tunes.stream -j {job_id}

如果调优未完成，指令进程将持续监控输出模型调优的日志。

如果调优已完成，将全量输出模型调优的日志。