微调视频生成模型

curl --location --request POST 'https://dashscope.aliyuncs.com/api/v1/files' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'files=@"./wan-i2v-training-dataset.zip"' \
--form 'purpose="fine-tune"' \
--form 'descriptions="a fine-tune training data file for wan"'

请保存 file_id，这是上传数据集的唯一标识。

{
    "data": {
        "uploaded_files": [
            {
                "name": "wan-i2v-training-dataset.zip",
                "file_id": "3bff1ef7-f72d-4285-bb75-xxxxxx"
            }
        ],
        "failed_uploads": []
    },
    "request_id": "1f3f1c5b-7418-4976-aaea-xxxxxx"
}

步骤2.1 创建微调任务

使用步骤1中的文件ID启动训练任务。

请求示例

请将<替换为训练数据集的文件id>完整替换为上一步获取的file_id。

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model":"wan2.5-i2v-preview",
    "training_file_ids":[
        "<替换为训练数据集的文件id>"
    ],
    "training_type":"efficient_sft",
    "hyper_parameters":{
        "n_epochs":400,
        "batch_size":2,
        "learning_rate":2e-5,
        "split":0.9,
        "eval_epochs": 20,
        "max_pixels": 36864
    }
}'

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model":"wan2.2-i2v-flash",
    "training_file_ids":[
        "<替换为训练数据集的文件id>"
    ],
    "training_type":"efficient_sft",
    "hyper_parameters":{
        "n_epochs":400,
        "batch_size":4,
        "learning_rate":2e-5,
        "split":0.9,
        "eval_epochs": 20,
        "max_pixels": 262144
    }
}'

响应示例

关注 output 中的三个关键参数：

• job_id：任务ID，用于查询进度。

• finetuned_output：微调后的新模型名称，后续部署和调用时必须使用此名称。

• status：模型训练状态。创建微调任务后，初始状态为PENDING，表示训练待开始。

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "PENDING",
        "finetuned_output": "wan2.5-i2v-preview-ft-202511111122-xxxx",
        ...
    }
}

步骤2.2 查询微调任务状态

通过步骤2.1获得的 job_id 查询任务进度，轮询以下接口直到 status 变为 SUCCEEDED。

请求示例

请将 URL 中的 <替换为微调任务job_id> 完整替换为job_id的值。

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

响应示例

关注output 字段的两个参数：

• status：当它的值变为 SUCCEEDED 时，表示模型已训练完毕，可以进行模型部署。

• usage：模型训练消耗的总Token数量，用于模型训练计费。

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "SUCCEEDED",
        "usage": 432000,
        ...
    }
}

步骤3.1 部署模型为在线服务

当微调任务的状态为 SUCCEEDED 后，将模型部署为在线服务。

请求示例

请将<替换为模型名称model_name> 完整替换为创建微调任务的输出参数finetuned_output的值。

curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<替换为模型名称model_name>",
    "aigc_config": {
        "prompt": "根据图像内容提供视频描述，描述必须包含“然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她（他）。钞票持续落下，同时镜头缓缓拉进，她（他）双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中”。\n输出模板:\n视模板头展示了[主体描述]。[环境描述]。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她（他）。钞票持续落下，同时镜头缓缓拉进，她（他）双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。\n示例:\n视频开头展示了一位年轻女性在海滩上的场景。她的头发湿漉漉的，呈现出深棕色，卷曲且略显凌乱。她的脸上带着灿烂的笑容。背景是波涛汹涌的海浪和远处的山脉。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她。钞票持续落下，同时镜头缓缓拉进，她双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
        "lora_prompt_default": "然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕主角。钞票持续落下，同时镜头缓缓拉进，主角双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。"
    },
    "capacity": 1,
    "plan": "lora"
}'

响应示例

关注 output 中的两个参数：

• deployed_model：部署的模型名称，用于查询部署状态和调用模型。

• status：模型部署状态。部署微调模型后，初始状态为PENDING，表示部署未开始。

{
    ...
    "output": {
        "deployed_model": "wan2.5-i2v-preview-ft-202511111122-xxxx",
        "status": "PENDING",
        ...
    }
}

步骤3.2 查询部署状态

查询部署状态，轮询以下接口直到 status 变为 RUNNING。

请求示例

请将<替换为模型名称model_name>完整替换为步骤3.1输出参数deployed_model的值。

curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments/<替换为deployed_model>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

响应示例

关注output字段的两个参数：

• status：当状态变为 RUNNING 时，表示模型已部署成功，可以开始调用。

• deployed_model：部署的模型名称。

{
    ...
    "output": {
        "status": "RUNNING",
        "deployed_model": "wan2.5-i2v-preview-ft-202511111122-xxxx",
        ...
    }
}

训练集：必须提供

图生视频-基于首帧的训练集包含训练首帧图片、训练视频、标注文件（data.jsonl）。

• 数据集样例：wan-i2v-training-dataset.zip。

• zip包目录结构：

  wan-i2v-training-dataset.zip
  ├── data.jsonl    （jsonl名称固定为data，最大支持20MB）
  ├── image_1.jpeg  （图像最大分辨率为1024*1024，单张最大不超过10MB，支持BMP、JPEG、PNG、WEBP格式）
  ├── video_1.mp4   （视频最大分辨率为512*512，单个最大不超过10MB，支持MP4、MOV格式）
  ├── image_2.jpeg
  └── video_2.mp4

• 标注文件（data.jsonl）：每一行是一个 JSON 对象，包含三个字段：Prompt、图片路径、视频路径。一行训练数据展开后结构如下：

  {
      "prompt": "视频开头展示了一位年轻女性站在一堵爬满常春藤的砖墙前。她有着一头柔顺的红棕色长发，穿着一件白色的无袖连衣裙，佩戴着一条闪亮的银色项链，面带微笑。背景中的砖墙被绿色的藤蔓覆盖，显得古朴而自然。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她。钞票持续落下，她双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
      "first_frame_path": "image_1.jpeg",
      "video_path": "video_1.mp4"        
  }

验证集：可选

图生视频-基于首帧的验证集包括首帧图片、标注文件（data.jsonl），无需提供视频。训练任务会在每个评估节点，自动调用模型服务，使用验证集的图片和 Prompt 生成预览视频。

• 数据集样例：：wan-i2v-valid-dataset.zip。

• zip包目录结构：

  wan-i2v-valid-dataset.zip
  ├── data.jsonl    （jsonl名称固定为data，最大支持20MB）
  ├── image_1.jpeg  （图像最大分辨率为1024*1024，单张最大不超过10MB，支持BMP、JPEG、PNG、WEBP格式）
  └── image_2.jpeg

• 标注文件（data.jsonl）：每一行是一个 JSON 对象，包含两个字段：Prompt、图片路径。一行数据展开后结构如下：

  {
      "prompt": "视频开头展示了一位年轻男性站在城市景观前的场景。他穿着黑白格子外套，内搭黑色连帽衫，面带微笑，神情自信。背景是夕阳下的城市天际线，远处可以看到著名的圆顶建筑和错落有致的屋顶，天空中云层密布，呈现出温暖的橙黄色调。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕他。钞票持续落下，同时镜头缓缓拉进，他双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
      "first_frame_path": "image_1.jpg"
  }

1. 确定微调场景

通义万相支持图生视频的微调场景包括：

• 固定视频特效：让模型学会某种特定的视觉变化，如旋转木马、魔法换装等。

• 固定人物动作：提升模型对特定肢体动作的复现度，如特定的舞蹈动作、武术招式。

• 固定视频运镜：复刻复杂的镜头语言，如推拉摇移、环绕拍摄等固定模板。

2. 获取原始素材

• AI 生成筛选：利用“通义万相”基础模型批量生成视频，再人工挑选出最符合目标效果的优质样本。这是最常用的方法。

• 真实拍摄：如果您的目标是追求高真实感的互动场景（如拥抱、握手等），使用实拍素材是最佳选择。

• 三维软件渲染：对于需要控制细节的特效或抽象动画，建议使用 3D 软件（如 Blender、C4D）制作素材。

3. 清洗数据

请按照以下要求清洗收集到的数据：

Prompt编写公式

Prompt = [主体描述] + [背景描述] + [触发词] + [运动描述]

如何写好Prompt

借助 AI 生成  Prompt

为了获得质量较高的Prompt，推荐使用Qwen-VL等多模态大模型来辅助生成视频的Prompt。

在训练过程中，系统会定期保存模型的“快照”（即 Checkpoint）。默认情况下，系统会输出最后一个Checkpoint作为最终的微调模型。但中间过程产出的Checkpoint效果可能优于最终版本，您可以从中挑选出最满意的一个进行部署。

系统将按照超参数eval_epochs设定的间隔，在验证集上运行Checkpoint并生成预览视频。

• 如何评估：通过直接观察生成的预览视频来判断效果。

• 挑选标准：找到效果最好、且没有动作变形的那个 Checkpoint 。

操作步骤

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>/validation-results' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

{
    "request_id": "da1310f5-5a21-4e29-99d4-xxxxxx",
    "output": [
        {
            "checkpoint": "checkpoint-160"
        },
        ...
    ]
}

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>/validation-details/<替换为选择的checkpoint>?page_no=1&page_size=10' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "375b3ad0-d3fa-451f-b629-xxxxxxx",
    "output": {
        "page_no": 1,
        "page_size": 10,
        "total": 1,
        "list": [
            {
                "video_path": "https://finetune-swap-wulanchabu.oss-cn-wulanchabu.aliyuncs.com/xxx.mp4?Expires=xxxx",
                "prompt": "视频开头展示了一位年轻男性坐在咖啡馆的场景。他穿着一件米色的Polo衫，神情专注且略显沉思，手指轻轻托着下巴。他的面前摆放着一杯热气腾腾的咖啡，背景是木质条纹的墙壁和一个装饰牌。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕他。钞票持续落下，他双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
                "first_frame_path": "https://finetune-swap-wulanchabu.oss-cn-wulanchabu.aliyuncs.com/xxx.jpeg"
            }
        ]
    }
}

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>/export/<替换为待导出的checkpoint>?model_name=<替换为控制台展示的导出模型名称>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "0817d1ed-b6b6-4383-9650-xxxxx",
    "output": true
}

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>/checkpoints' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "b0e33c6e-404b-4524-87ac-xxxxxx",
    "output": [
         ...,
        {
            "create_time": "2025-11-11T13:27:29",
            "full_name": "ft-202511111122-496e-checkpoint-160",
            "job_id": "ft-202511111122-496e",
            "checkpoint": "checkpoint-160",                             
            "model_name": "wan2.5-i2v-preview-ft-202511111122-xxxx-c160", // 重要字段，将用于模型部署和调用
            "model_display_name": "wan2.5-i2v-preview-ft-202511111122-xxxx", 
            "status": "SUCCEEDED" // 成功导出的checkpoint
        },
        ...
        
    ]
}