微调视频生成模型

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微调任务job_id>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments/<替换为deployed_model>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

遵循特效描述的一致性原则

所有包含该特效的样本，其特效的运动描述部分应尽量保持一致。训练集和验证集均遵守此规则。

• 目的：当模型发现 s86b5p 出现时，后面总是跟着一段固定的描述，且画面总是出现金钱雨，它就能记住：s86b5p = 金钱雨视觉效果。

• 示例：无论是“年轻女性”还是“西装男性”，只要是金钱雨特效，Prompt 后半段都统一写为：“...然后开始展示 s86b5p 金钱雨特效，无数美元钞票如暴雨般倾泻而下...”

  样本类型	Prompt 内容（注意下划线部分的描述一致性）
  训练集样本1	视频开头展示了一位年轻女性站在砖墙前...（省略环境描述）...然后开始展示 s86b5p 金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕她。钞票持续落下，她双臂舒展上扬，表情惊喜，完全沉浸在这场狂野的金钱雨中。
  训练集样本2	视频开头展示了一位西装男性在高档餐厅内...（省略环境描述）...然后开始展示 s86b5p 金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕他。钞票持续落下，他双臂舒展上扬，表情惊喜，完全沉浸在这场狂野的金钱雨中。
  验证集样本1	视频开头展示了一位年轻小孩站在城市景观前...（省略环境描述）...然后开始展示s86b5p金钱雨特效，无数巨大尺寸的美元钞票（米黄底/深绿图案）如暴雨般倾泻而下，密集地砸向并环绕他。钞票持续落下，同时镜头缓缓拉进，他双臂舒展上扬，脖颈微仰，表情惊喜，完全沉浸在这场狂野的金钱雨中。

1. 使用 AI 辅助生成初始描述

   1. 自由发散（寻找灵感）：如果不知道该如何描述特效，可以先让 AI 自由发挥。

      • 直接发送“详细描述视频内容”，观察模型输出了什么。

      • 重点看模型用了哪些词汇来形容特效的运动轨迹（如“暴雨般倾泻而下”、“镜头缓缓拉进”），这些词汇可以作为后续优化的素材。

   2. 固定句式（规范输出）：当有了大概思路后，可基于标注公式设计一套固定句式，引导 AI 生成符合格式的 Prompt。

      示例代码

      代码调用详见视觉理解。

      import os
      from openai import OpenAI
      
      client = OpenAI(
          # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
          # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key
          api_key=os.getenv("DASHSCOPE_API_KEY"),
          # 以下是北京地域base_url，如果使用新加坡地域的模型，需要将base_url替换为：https://dashscope-intl.aliyuncs.com/compatible-mode/v1
          base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
      )
      completion = client.chat.completions.create(
          model="qwen3-vl-plus",
          messages=[
              {"role": "user","content": [{
                  # 直接传入视频文件时，请将type的值设置为video_url
                  # 使用OpenAI SDK时，视频文件默认每间隔0.5秒抽取一帧，且不支持修改，如需自定义抽帧频率，请使用DashScope SDK.
                  "type": "video_url",
                  "video_url": {"url": "https://cloud.video.taobao.com/vod/Tm1s_RpnvdXfarR12RekQtR66lbYXj1uziPzMmJoPmI.mp4"}},
                  {"type": "text","text": "请仔细分析视频，并按照以下固定句式生成一段详细的视频描述"
                                          "句式模板：视频开头展示了[主体描述]。背景是[背景描述]。然后开始展示s86b5p金钱雨特效，[详细的运动描述]。"
                                          "要求："
                                          "1.[主体描述]：详细描述画面中原本存在的人或物,包含人物/物体的外貌、衣着、表情等细节。"
                                          "2.[背景描述]：详细描述主体所处的环境,包含环境、光影、天气等细节。"
                                          "3.[运动描述]：详细描述特效发生时的动态变化过程（如物体如何移动、光影如何变化、镜头如何变化）。"
                                          "4.所有内容必须自然融入句式中，不得保留“[ ]”符号，也不得添加任何与描述无关的文字。"}]
               }]
      )
      print(completion.choices[0].message.content)

2. 提炼特效模板

   1. 建议对多个包含相同特效的样本重复运行，找出描述特效时共同使用的高频、准确词组，从中提炼出一段通用的“特效描述”。

   2. 将这段标准化的特效描述复制粘贴到该特效的所有数据集中。

   3. 保留每个样本独特的“主体”和“背景”描述，仅将“特效描述”部分替换为统一模板。

3. 人工检查

   AI 可能会产生幻觉或识别错误，最后请进行人工检查，例如：确认主体和背景的描述是否符合画面真实情况等。