微调视频生成模型

训练集（必须）

图生视频-基于首帧的训练集包含训练首帧图片、训练视频、标注文件（data.jsonl）。

• 数据集样例：wan-i2v-training-dataset.zip。

• zip包目录结构：

  wan-i2v-training-dataset.zip
  ├── data.jsonl    （jsonl名称固定为data，最大支持20MB）
  ├── image_1.jpeg  （图像最大分辨率为1024*1024，单张最大不超过10MB，支持BMP、JPEG、PNG、WEBP格式）
  ├── video_1.mp4   （视频最大分辨率为512*512，单个最大不超过10MB，支持MP4、MOV格式）
  ├── image_2.jpeg
  └── video_2.mp4

• 标注文件（data.jsonl）：每一行是一个 JSON 对象，包含三个字段：Prompt、图片路径、视频路径。

  //一行训练数据展开后结构如下：
  {
      "prompt": "视频开头展示了一位年轻女性站在一堵爬满常春藤的砖墙前。她有着一头柔顺的红棕色长发，穿着一件白色的无袖连衣裙，佩戴着一条闪亮的银色项链，面带微笑。背景中的砖墙被绿色的藤蔓覆盖，显得古朴而自然。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她。钞票持续落下，她双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
      "first_frame_path": "image_1.jpeg",
      "video_path": "video_1.mp4"        
  }

验证集（可选）

图生视频-基于首帧的验证集不需要上传视频，只需提供 Prompt和首帧图片。训练任务会在每个评估节点，自动调用模型服务，使用验证集的图片和 Prompt 生成预览视频。

• 数据集样例：wan-i2v-valid-dataset.zip。

• zip包目录结构：

  wan-i2v-valid-dataset.zip
  ├── data.jsonl    （jsonl名称固定为data，最大支持20MB）
  ├── image_1.jpeg   （图像最大分辨率为1024*1024，单张最大不超过10MB，支持BMP、JPEG、PNG、WEBP格式）
  └── image_2.jpeg

• 标注文件（data.jsonl）：每一行是一个 JSON 对象，包含两个字段：Prompt、图片路径。

  //一行验证数据展开后结构如下：
  {
      "prompt": "视频开头展示了一位年轻男性站在城市景观前的场景。他穿着黑白格子外套，内搭黑色连帽衫，面带微笑，神情自信。背景是夕阳下的城市天际线，远处可以看到著名的圆顶建筑和错落有致的屋顶，天空中云层密布，呈现出温暖的橙黄色调。然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕他。钞票持续落下，同时镜头缓缓拉进，他双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。",
      "first_frame_path": "image_1.jpg"
  }

规则一： 核心特效描述，尽量保持一致

所有包含该特效的样本，其特效描述部分应尽量保持一致。训练集和验证集均遵守此规则。

• 示例：无论是“年轻女性”还是“西装男性”，只要是金钱雨特效，Prompt 后半段都统一写为：“...然后开始展示 s86b5p 金钱雨特效，无数美元钞票如暴雨般倾泻而下...”

• 目的：当模型发现 s86b5p 出现时，后面总是跟着一段固定的描述，且画面总是出现金钱雨，它就能记住：s86b5p = 金钱雨视觉效果。

规则二：干扰信息或动作，必须描述出来

如果视频中出现了与特效无关的干扰动作，必须在 Prompt 中写出来。

• 什么算干扰信息？

  假设本样本训练目标为“旋转木马变身特效”。 样本在变身过程中出现了“上衣花纹动态增减”的变化，例如右侧新增花纹、左侧花纹消失。 这属于与目标无关的视觉干扰，不应让模型学习。

• 为什么必须在 Prompt 中显式描述？

  如果不描述，模型会误以为“衣服花纹变化”也是特效的一部分。

• 怎么描述？

  • 在Prompt中准确描述变化过程，例如：“变身过程中，上衣右侧多了一个花纹，然后左边的花纹消失了”。

  • 目的是告诉模型“这个花纹变化是跟这句话对应的，不是特效本身”，让模型学会忽略它。

步骤一：使用 AI 辅助生成初始描述

1. 自由发散（寻找灵感）：如果不知道该如何描述特效，可以先让 AI 自由发挥。

   • 直接发送“详细描述视频内容”，观察模型输出了什么。

   • 重点看模型用了哪些词汇来形容特效的运动轨迹（如“螺旋上升”、“粒子汇聚”），这些词汇可以作为后续优化的素材。

2. 固定句式（规范输出）：当您有了大概思路后，可基于标注公式设计一套固定句式，引导 AI 生成符合训练格式的 Prompt。

   示例代码

   代码调用详见视觉理解。

   import os
   from openai import OpenAI
   
   client = OpenAI(
       # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
       # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key
       api_key=os.getenv("DASHSCOPE_API_KEY"),
       # 以下是北京地域base_url，如果使用新加坡地域的模型，需要将base_url替换为：https://dashscope-intl.aliyuncs.com/compatible-mode/v1
       base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
   )
   completion = client.chat.completions.create(
       model="qwen3-vl-plus",
       messages=[
           {"role": "user","content": [{
               # 直接传入视频文件时，请将type的值设置为video_url
               # 使用OpenAI SDK时，视频文件默认每间隔0.5秒抽取一帧，且不支持修改，如需自定义抽帧频率，请使用DashScope SDK.
               "type": "video_url",
               "video_url": {"url": "https://cloud.video.taobao.com/vod/Tm1s_RpnvdXfarR12RekQtR66lbYXj1uziPzMmJoPmI.mp4"}},
               {"type": "text","text": "请仔细分析视频，并按照以下固定句式生成一段详细的视频描述"
                                       "句式模板：视频开头展示了[主体描述]。背景是[背景描述]。然后开始展示s86b5p金钱雨特效，[详细的运动描述]。"
                                       "要求："
                                       "1.[主体描述]：详细描述画面中原本存在的人或物,包含人物/物体的外貌、衣着、表情等细节。"
                                       "2.[背景描述]：详细描述主体所处的环境,包含环境、光影、天气等细节。"
                                       "3.[运动描述]：详细描述特效发生时的动态变化过程（如物体如何移动、光影如何变化、镜头如何变化）。"
                                       "4.所有内容必须自然融入句式中，不得保留“[ ]”符号，也不得添加任何与描述无关的文字。"}]
            }]
   )
   print(completion.choices[0].message.content)

步骤二：提炼特效模板

1. 建议对多个包含相同特效的样本重复运行，找出描述特效时共同使用的高频、准确词组，从中提炼出一段通用的“特效描述”。

2. 将这段标准化的特效描述复制粘贴到该特效的所有数据集中。

3. 保留每个样本独特的“主体”和“背景”描述，仅将“特效描述”部分替换为统一模板。

步骤三：人工检查

AI 可能会产生幻觉或识别错误，最后请进行人工检查，例如：确认主体和背景的描述是否符合画面真实情况等。