CosyVoice模型调优

音频规格要求

为保证调优效果，训练音频需满足以下规格要求：

目录结构

将训练样本组织为以下目录结构，并将整个目录打包为 .zip 压缩包后上传：

user_data/
├── data.jsonl           # 训练样本列表（必需）
└── train/               # 训练音频目录（所有训练 wav 放在这里）
    ├── 100001.wav
    ├── 100002.wav
    └── ...

data.jsonl 格式

data.jsonl 文件每行一个训练样本：

{"wav_fn": "train/100001.wav", "text": "你好。"}
{"wav_fn": "train/100002.wav", "text": "我明白了。"}

字段说明

文本写法建议：

• 无需归一化：数字、英文 / 中文混排、标点符号等无需做特殊归一化处理，按音频中的自然念法书写即可。

• 去除特殊符号：建议提前去除文本中不发音的特殊符号（如 emoji、装饰符号、控制字符等），仅保留与音频实际发音对应的内容。

数据量建议

CosyVoice 模型调优对数据量的建议如下：

• 推荐数据量：训练音频总时长在 1~10 小时 之间即可获得较好效果，超过 10 小时收益不明显。

• 样本条数：建议训练音频不少于 150 条，以保证调优效果稳定；算法侧与平台侧对 data.jsonl 内的样本条数均无明确上限，可按总时长目标自由组织。

如何设置超参数

CosyVoice 调优涉及两个子网络：LM（Language Model，将文本转为离散语音 token 的自回归语言模型）与 FM（Flow Matching，将语音 token 还原为 Mel 谱的流匹配模型）。两者的训练超参分别以 lm_* 与 fm_* 前缀区分。

超参数决定训练轮次与 Checkpoint 保存策略，会直接影响调优耗时、Token 消耗与最终模型效果。

建议先用以下推荐值跑通一次完整流程，根据效果再决定是否调整：

• LM 网络：lm_max_epoch=60，lm_step=5，lm_num=3，lm_batch_size=1000。

• FM 网络：fm_max_epoch=100，fm_step=10，fm_num=3，fm_batch_size=2000。

其中 *_max_epoch 为训练总轮次，*_step 为保存 Checkpoint 的步长，*_num 为最多保留的 Checkpoint 个数，*_batch_size 为训练批次大小。各字段的完整取值范围请参见 模型调优 API 参考。

模型产出（Checkpoint）说明

单次调优任务可能产出多个 Checkpoint（候选模型），具体数量与排序由超参数中的 lm_num、fm_num 与 *_step 共同决定。

1. 选模型：分别从 LM、FM 的最大轮次往回数，每隔 *_step 选一个，共选 *_num 个。

2. 组合：LM 与 FM 的选择做全排列，候选 Checkpoint 数量 = lm_num × fm_num。

3. 排序：按 LM 轮次 × FM 轮次 从大到小排序（乘积越大代表双端训练越充分，越靠前）。

4. 截断：在上一步降序排序结果上从前往后截取，最多保留 10 个；候选不足 10 个时全部输出。

5. 命名：checkpoint-{LM 轮次 4 位补零}{FM 轮次 4 位补零}，例如 LM 4 / FM 4 输出为 checkpoint-00040004。

示例：以参数 lm_max_epoch=4, lm_step=1, lm_num=2, fm_max_epoch=4, fm_step=2, fm_num=2 为例：

• LM 选出：4、3（从 4 开始，每次减 lm_step=1，共 lm_num=2 个）。

• FM 选出：4、2（从 4 开始，每次减 fm_step=2，共 fm_num=2 个）。

• 全排列得到 4 个候选，按乘积降序输出：

响应结果

请求成功后，请保存响应中的两个关键字段：output.job_id（任务 ID，用于后续查询状态、获取日志、取消或删除任务）与 output.finetuned_output（调优完成后的模型 ID，用于后续调用）。任务创建后 status 初始为 PENDING，将随训练进度变化。响应字段的完整说明请参见 模型调优 API 参考。

查询任务详情

使用创建任务时返回的 job_id 查询任务状态。

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<job_id>' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

响应中 output.status 字段表示当前阶段：PENDING（待开始）→ QUEUING（排队中，平台同一时刻仅运行一个训练任务）→ RUNNING（训练进行中）→ SUCCEEDED（训练成功）。异常终止状态包括 FAILED（训练失败）、CANCELING（取消中）与 CANCELED（已取消）。状态字段的完整定义请参见模型调优 API 参考。

获取训练日志

当任务长时间停留在某一状态、或进入 FAILED 状态时，可拉取训练日志辅助排查。

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<job_id>/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

通过 offset 控制起始位置，line 控制最多返回的行数（示例每次拉取 1000 行）。响应字段说明请参见模型调优 API 参考。

模型部署

CosyVoice 调优模型仅支持按模型单元的使用时长（"plan": "mu"）计费方式部署。当前提供以下两种部署方式，推荐使用控制台部署：

部署规格：CosyVoice 调优模型当前仅支持 MU5 规格（MU，Model Unit，是百炼平台的算力部署最小单位）。

API 请求中的 capacity 字段表示部署副本数，对应控制台部署页面的部署副本数选项，与副本数一一对应（"capacity": 1 部署 1 个副本，"capacity": N 部署 N 个副本，可填 ≥ 1 的整数）。副本越多，可承载的并发吞吐越高，费用也按副本数线性增长。

capacity 字段的完整取值约束请参见模型部署-API详情；MU5 的小时单价 / 包月单价请参见模型部署简介。

• 方式一：在阿里云百炼控制台部署（推荐）

  前往百炼控制台的我的模型页面，按界面提示选择部署方式、模型规格与部署单元数，提交后即可在页面查看部署状态和部署成功后的模型实例 ID。控制台部署的详细操作请参见模型部署简介。

• 方式二：通过 API 部署

  将调优任务成功后的模型 ID（响应中的 finetuned_output 字段值）作为 model_name，调用部署接口。下方示例使用规格 MU5（对应 deploy_spec="dps-20260521172224-1vabse"，capacity 为 1 的整数倍）：

  curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments' \
  --header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
  --header 'Content-Type: application/json' \
  --data '{
      "model_name": "<替换为调优任务返回的 finetuned_output 字段值>",
      "plan": "mu",
      "deploy_spec": "dps-20260521172224-1vabse",
      "capacity": 1,
      "billing_method": "POST_PAY"
  }'

  部署请求提交成功后，响应中 output.deployed_model 即为部署实例 ID，后续调用模型时需将其作为 model 参数传入。可用部署规格的获取方式与各字段的取值约束请参见模型部署-API详情。

  部署任务创建后将经历 PENDING → DEPLOYING → RUNNING 多个阶段，可通过以下接口查询当前部署状态：

  curl --location 'https://dashscope.aliyuncs.com/api/v1/deployments/<替换为 deployed_model 字段值>' \
  --header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
  --header 'Content-Type: application/json'

  当响应中 status 字段值为 RUNNING 时，表示该模型已可供调用。更多模型部署相关的操作（如扩缩容、下线等）请参见模型部署-API详情。

模型调用

当模型部署状态为 RUNNING 时，调优后的模型即可投入业务调用。调用方式（含 endpoint、请求体字段、典型响应与音频取回方式）与其他 CosyVoice 模型一致，完整说明请参见用户指南 语音合成。相比原模型，仅需调整以下两个请求参数：

• model：设置为部署任务成功后的实例 ID，即部署响应中 output.deployed_model 字段的值。

• voice：必须固定为 "default"。

完整调用示例如下，根据业务场景选择非实时（HTTP）或实时（WebSocket）方式：

curl -X POST 'https://dashscope.aliyuncs.com/api/v1/services/audio/tts/SpeechSynthesizer' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "<替换为部署响应中的 deployed_model 字段值>",
    "input": {
      "text": "我家的后面有一个很大的花园。",
      "voice": "default",
      "format": "wav",
      "sample_rate": 24000
    }
}'

# coding=utf-8
import os
import dashscope
from dashscope.audio.tts_v2 import *

dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')
dashscope.base_websocket_api_url = 'wss://dashscope.aliyuncs.com/api-ws/v1/inference'

# 模型 ID 替换为部署响应中的 deployed_model 字段值；voice 必须固定为 "default"
model = "<替换为部署响应中的 deployed_model 字段值>"
voice = "default"

# 实例化 SpeechSynthesizer，并传入模型（model）与音色（voice）
synthesizer = SpeechSynthesizer(model=model, voice=voice)
# 发送待合成文本，获取二进制音频
audio = synthesizer.call("我家的后面有一个很大的花园。")
# 打印 requestId 与首包延迟
print('[Metric] requestId 为：{}，首包延迟为：{} 毫秒'.format(
    synthesizer.get_last_request_id(),
    synthesizer.get_first_package_delay()))

# 将音频保存至本地
with open('output.mp3', 'wb') as f:
    f.write(audio)

训练费用

按训练消耗的 Token 数计费，单价为 0.2 元 / 千 Tokens。

单次调优任务消耗的 Token 数可按下式估算：

$$\text{消耗 Tokens}=(lm\_max\_epoch+fm\_max\_epoch)\times 25\times \text{训练集总时长(秒)}$$

其中 lm_max_epoch 与 fm_max_epoch 为超参数中设置的 LM 与 FM 训练轮次；训练集总时长为调优数据集中全部音频文件的总秒数。

部署费用

调优后的模型部署后按使用时长计费，CosyVoice 调优模型当前仅支持 MU5 规格，计费规则、单价与计费起止时刻请参见模型部署简介。