接口说明

更新时间:
复制 MD 格式

CosyVoice长文本语音合成将一次输入的长文本转换为语音,并以二进制数据流返回音频。使用支持SSML的音色时,可通过SSML添加背景音、设置停顿和修正读音。本文介绍服务地址、交互流程、请求参数、响应事件及支持的音色。

计费和并发限制

  • CosyVoice长文本语音合成仅提供商用版,不支持试用。使用前需开通商用版,开通方式和计费方式请参见计费方式。

  • 费用涉及的计费项请参见计费项。

  • 并发限制请参见并发和QPS说明。

功能与使用限制

  • 支持PCM、WAV、MP3和OPUS音频编码格式。

  • 每个会话仅可发送一次文本,文本采用UTF-8编码,长度不超过10000个字符。不支持流式发送文本,但合成音频以数据流返回。

  • 支持选择音色,以及设置语速、语调和音量。

  • 支持SSML和字级时间戳,具体支持情况取决于音色,详情请参见音色列表。

服务地址与鉴权

根据网络环境选择以下服务地址,并将SDK的URL设为所选地址。

访问类型

说明

URL

公网访问

可连接公网的服务器均可使用。

wss://nls-gateway-cn-beijing.aliyuncs.com/ws/v1

ECS内网访问

适用于华北2(北京)地域VPC内的ECS实例,经典网络不支持。使用内网访问不产生ECS实例的公网流量费用。

ws://nls-gateway-cn-beijing-internal.aliyuncs.com:80/ws/v1

客户端建立WebSocket连接时,使用NLS Token进行鉴权,获取方法请参见获取Token。请求中的Appkey为智能语音交互项目的Appkey,可在智能语音交互控制台获取。

交互流程

image
  1. 鉴权:客户端使用NLS Token建立WebSocket连接。

  2. 配置参数:设置Appkey、音色、音频格式、采样率等参数,发起合成请求。

  3. 发送文本:一次发送完整的待合成文本。使用SDK时,可通过startTts的text参数传入文本。

  4. 接收数据:服务端陆续返回语音二进制数据,客户端接收并保存或播放。开启时间戳时,还需处理字幕事件。

  5. 结束合成:服务端发送SynthesisCompleted事件,表示音频已全部返回。该事件不代表客户端已播放完音频。

请求说明

以下为参数含义。不同语言SDK的设置方式、参数类型和默认值可能不同;使用SDK时,按对应语言的接口传入参数。例如,Java SDK使用StreamInputTts对象的set方法及枚举,Python SDK可通过startTts传入合成参数。

合成参数

参数

类型

是否必选

说明

appkey

String

是

智能语音交互项目的Appkey。

voice

String

是

音色名称,取值请参见音色列表中的voice参数值。

format

枚举/String

否

音频编码格式:pcm、wav、mp3或opus,默认为pcm。Java SDK使用OutputFormatEnum枚举。

sample_rate

枚举/Integer

否

音频采样率,单位为Hz,可选8000、16000、24000、48000,需与音色支持的采样率匹配。服务端默认16000;SDK可能传入其他默认值,例如Python SDK的startTts默认传入24000。Java SDK使用SampleRateEnum中的SAMPLE_RATE_8K、SAMPLE_RATE_16K、SAMPLE_RATE_24K、SAMPLE_RATE_48K。

volume

Integer

否

朗读音量,取值范围为0~100,默认为50。

speech_rate

Integer

否

朗读语速,取值范围为-500~500,默认为0。

pitch_rate

Integer

否

朗读语调,取值范围为-500~500,默认为0。

bit_rate

Integer

否

音频码率,仅对OPUS编码生效。取值范围为6~510,单位为kbps,默认为32。

enable_subtitle

Boolean

否

设为true可开启字级时间戳,需使用支持时间戳的音色。未开启时不返回字级时间戳。Python SDK可通过startTts的ex参数传入{"enable_subtitle": True}。

enable_aigc_tag

Boolean

否

是否在生成的音频中添加AIGC隐性标识,默认为false。设为true时,将标识嵌入WAV、MP3或OPUS音频中。

aigc_propagator

String

否

AIGC隐性标识中的ContentPropagator字段,用于标识内容传播者,默认为阿里云UID。仅在enable_aigc_tag为true时生效。

aigc_propagate_id

String

否

AIGC隐性标识中的PropagateID字段,用于唯一标识一次传播行为,默认为本次合成请求的Task ID。仅在enable_aigc_tag为true时生效。

待合成文本

参数

类型

是否必选

说明

text

String

是

待合成文本,采用UTF-8编码,长度不超过10000个字符。英文单词之间用空格分隔。每个会话仅发送一次文本。

使用支持SSML的音色时,可通过SSML控制断句分词、发音、速度、停顿、声调和音量,以及添加背景音乐,详情请参见SSML标记语言介绍。

响应说明

合成音频通过WebSocket二进制消息返回;合成状态及时间戳通过JSON事件返回。事件的header.namespace为FlowingSpeechSynthesizer。

合成完成事件

客户端收到SynthesisCompleted事件时,表示本次合成的音频已全部返回。以下示例展示主要字段,message_id和task_id为脱敏值。

{
  "header": {
    "message_id": "05450bf69c53413f8d88aed1ee60****",
    "task_id": "640bc797bb684bd6960185651307****",
    "namespace": "FlowingSpeechSynthesizer",
    "name": "SynthesisCompleted",
    "status": 20000000,
    "status_text": "GATEWAY|SUCCESS|Success."
  },
  "payload": {
    "measureType": "TextLengthHD",
    "measureLength": 49
  }
}

字段

类型

说明

header.status

Integer

状态码,成功时为20000000。

header.status_text

String

状态描述。

payload.measureType

String

计量类型,例如TextLengthHD。

payload.measureLength

Integer

本次请求的计量字符数。1个汉字计为2个字符;1个英文字母、标点或句子中间的空格计为1个字符。

字级时间戳

使用支持时间戳的音色,并将enable_subtitle设为true。例如,longxiaochun_v2和longwan_v2支持时间戳,longxiaochun不支持。各音色的支持情况请参见音色列表。

字幕信息在合成过程中随SentenceSynthesis和SentenceEnd事件返回,无需等整段合成完成。SentenceBegin事件用于标识句子开始,其payload包含句子索引index。字幕事件中的主要字段如下。

字段

类型

说明

payload.index

Integer

句子索引。

payload.subtitles

Array

字幕及其时间戳列表。未开启时间戳或音色不支持时,该列表可能为空。开启时间戳后,部分SentenceSynthesis事件的字幕列表也可能为空。

payload.subtitles[].text

String

字幕文本。

payload.subtitles[].begin_time

Integer

字幕开始时间,单位为毫秒。

payload.subtitles[].end_time

Integer

字幕结束时间,单位为毫秒。

音频时长与文字同步

合成音频时长受文本、音色、语速等因素影响,不能用其他音频的时长推算本次合成时长。需要文字与音频同步显示时,应结合字幕时间戳和播放器的实际播放位置,而不是仅按整段音频总时长分配文字进度。

接口不返回预计算的整段音频总时长。边接收边播放时,开始阶段尚无完整音频,需等音频全部接收完成后,根据音频数据获取总时长。最后一条字幕的end_time未必等于整段音频的总时长,不能直接替代。

音色列表

CosyVoice-V2

名称

音色名称

(voice参数值)

类型

场景

支持语言

支持采样率

支持时间戳功能

支持SSML

龙橙

longcheng_v2

阳光男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

是

是

龙华

longhua_v2

活泼女童

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

是

是

龙书

longshu_v2

新闻男声

新闻播报、有声读物

中文及中英文混合

8k/16k/24k

是

是

Bella2.0

loongbella_v2

新闻女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

是

是

龙婉

longwan_v2

普通话女声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

是

是

龙小淳

longxiaochun_v2

温柔姐姐

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k/48k

是

是

龙小夏

longxiaoxia_v2

温柔女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

是

是

龙呼呼

longhuhu

天真烂漫女童

童声

中文及中英文混合

8k/16k/24k

是

是

龙安培

longanpei

青少年教师女

消费电子-教育培训

中文及中英文混合

8k/16k/24k

是

是

龙黛玉

longdaiyu

娇率才女音

短视频配音

中文及中英文混合

8k/16k/24k

是

是

龙高僧

longgaoseng

得道高僧音

短视频配音

中文及中英文混合

8k/16k/24k

是

是

龙应沐

longyingmu

优雅知性女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应询

longyingxun

年轻青涩男

客服

中文及中英文混合

8k/16k/24k

是

是

龙应催

longyingcui

严肃催收男

客服

中文及中英文混合

8k/16k/24k

是

是

龙应答

longyingda

开朗高音女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应静

longyingjing

低调冷静女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应严

longyingyan

义正严辞女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应甜

longyingtian

温柔甜美女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应冰

longyingbing

尖锐强势女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应桃

longyingtao

温柔淡定女

客服

中文及中英文混合

8k/16k/24k

是

是

龙应聆

longyingling

温和共情女

客服

中文及中英文混合

8k/16k/24k

是

是

YUMI

longyumi_v2

正经青年女

语音助手

中文及中英文混合

8k/16k/24k

是

是

龙安燃

longanran

活泼质感女

直播带货

中文及中英文混合

8k/16k/24k

是

是

龙安宣

longanxuan

经典直播女

直播带货

中文及中英文混合

8k/16k/24k

是

是

龙安冲

longanchong

激情推销男

直播带货

中文及中英文混合

8k/16k/24k

是

是

龙安萍

longanping

高亢直播女

直播带货

中文及中英文混合

8k/16k/24k

是

是

龙白芷

longbaizhi

睿气旁白女

有声书

中文及中英文混合

8k/16k/24k

是

是

龙三叔

longsanshu

沉稳质感男

有声书

中文及中英文混合

8k/16k/24k

是

是

龙修

longxiu_v2

博才说书男

有声书

中文及中英文混合

8k/16k/24k

是

是

龙妙

longmiao_v2

抑扬顿挫女

有声书

中文及中英文混合

8k/16k/24k

是

是

龙悦

longyue_v2

温暖磁性女

有声书

中文及中英文混合

8k/16k/24k

是

是

龙楠

longnan_v2

睿智青年男

有声书

中文及中英文混合

8k/16k/24k

是

是

龙媛

longyuan_v2

温暖治愈女

有声书

中文及中英文混合

8k/16k/24k

是

是

龙安柔

longanrou

温柔闺蜜女

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙嫱

longqiang_v2

浪漫风情女

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙寒

longhan_v2

温暖痴情男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙星

longxing_v2

温婉邻家女

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙菲菲

longfeifei_v2

甜美娇气女

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙小诚

longxiaocheng_v2

磁性低音男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙哲

longzhe_v2

呆板大暖男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙颜

longyan_v2

温暖春风女

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙天

longtian_v2

磁性理智男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙泽

longze_v2

温暖元气男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙邵

longshao_v2

积极向上男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙浩

longhao_v2

多情忧郁男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙深

kabuleshen_v2

实力歌手男

社交陪伴

中文及中英文混合

8k/16k/24k

是

是

龙杰力豆

longjielidou_v2

阳光顽皮男

童声

中文及中英文混合

8k/16k/24k

是

是

龙铃

longling_v2

稚气呆板女

童声

中文及中英文混合

8k/16k/24k

是

是

龙可

longke_v2

懵懂乖乖女

童声

中文及中英文混合

8k/16k/24k

是

是

龙仙

longxian_v2

豪放可爱女

童声

中文及中英文混合

8k/16k/24k

是

是

龙老铁

longlaotie_v2

东北直率男

东北话

中文及中英文混合

8k/16k/24k

是

是

龙嘉怡

longjiayi_v2

知性粤语女

粤语

中文及中英文混合

8k/16k/24k

是

是

龙桃

longtao_v2

积极粤语女

粤语

中文及中英文混合

8k/16k/24k

是

是

龙飞

longfei_v2

热血磁性男

诗词朗诵

中文及中英文混合

8k/16k/24k

是

是

李白

libai_v2

古代诗仙男

诗词朗诵

中文及中英文混合

8k/16k/24k

是

是

龙津

longjin_v2

优雅温润男

诗词朗诵

中文及中英文混合

8k/16k/24k

是

是

龙硕

longshuo_v2

博才干练男

新闻播报

中文及中英文混合

8k/16k/24k

是

是

龙小白

longxiaobai_v2

沉稳播报女

新闻播报

中文及中英文混合

8k/16k/24k

是

是

龙婧

longjing_v2

典型播音女

新闻播报

中文及中英文混合

8k/16k/24k

是

是

loongstella

loongstella_v2

飒爽利落女

新闻播报

中文及中英文混合

8k/16k/24k

是

是

loongeva

loongeva_v2

知性英文女

出海营销

英式英文

8k/16k/24k

否

否

loongbrian

loongbrian_v2

沉稳英文男

出海营销

英式英文

8k/16k/24k

否

否

loongluna

loongluna_v2

英式英文女

出海营销

英式英文

8k/16k/24k

否

否

loongluca

loongluca_v2

英式英文男

出海营销

英式英文

8k/16k/24k

否

否

loongemily

loongemily_v2

英式英文女

出海营销

英式英文

8k/16k/24k

否

否

loongeric

loongeric_v2

英式英文男

出海营销

英式英文

8k/16k/24k

否

否

loongabby

loongabby_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongannie

loongannie_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongandy

loongandy_v2

美式英文男

出海营销

美式英文

8k/16k/24k

否

否

loongava

loongava_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongbeth

loongbeth_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongbetty

loongbetty_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongcindy

loongcindy_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongcally

loongcally_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongdavid

loongdavid_v2

美式英文男

出海营销

美式英文

8k/16k/24k

否

否

loongdonna

loongdonna_v2

美式英文女

出海营销

美式英文

8k/16k/24k

否

否

loongkyong

loongkyong_v2

韩语女

出海营销

韩语

8k/16k/24k

否

否

loongtomoka

loongtomoka_v2

日语女

出海营销

日语

8k/16k/24k

否

否

loongtomoya

loongtomoya_v2

日语男

出海营销

日语

8k/16k/24k

否

否

CosyVoice-V1

名称

音色名称

(voice参数值)

类型

场景

支持语言

支持采样率

支持时间戳功能

支持SSML

龙臣

longchen

译制片男声

译制片

中文及中英文混合

8k/16k/24k

否

否

龙熊

longxiong

译制片男声

译制片

中文及中英文混合

8k/16k/24k

否

否

龙玉

longyu

御姐女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙娇

longjiao

御姐女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙玫

longmei

温柔女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙瑰

longgui

温柔女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙乒

longping

体育解说男声

体育赛事解说

中文及中英文混合

8k/16k/24k

否

否

龙乓

longpang

体育解说男声

体育赛事解说

中文及中英文混合

8k/16k/24k

否

否

龙无

longwu

无厘头男声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙奇

longqi

活泼童声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙仙

longxian_normal

阳光女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙菲

longfeifei

成熟女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙修

longxiu

青年男声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙大锤

longdachui

幽默男声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙佳佳

longjiajia

亲和女声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙嘉怡

longjiayi

粤语女声

对话闲聊、新闻播报、有声读物、车载导航

粤语及粤英混合

8k/16k/24k

否

否

龙桃

longtao

粤语女声

对话闲聊、新闻播报、有声读物、车载导航

粤语及粤英混合

8k/16k/24k

否

否

龙嘉欣

longjiaxin

粤语女声

对话闲聊、新闻播报、有声读物、车载导航

粤语及粤英混合

8k/16k/24k

否

否

龙橙

longcheng

阳光男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙哲

longzhe

成熟男声

对话闲聊、新闻播报、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙楠

longnan

青年男声

新闻播报、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙颜

longyan

亲切女声

智能客服、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙嫱

longqiang

慵懒女声

对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙华

longhua

活泼女童

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙星

longxing

暖心女声

智能客服、对话闲聊

中文及中英文混合

8k/16k/24k

否

否

龙津

longjin

青年男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙寒

longhan

青年男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙天

longtian

霸总男声

对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙硕

longshuo

沉稳男声

智能客服、新闻播报、有声读物、

中文及中英文混合

8k/16k/24k

否

否

Stella2.0

loongstella

飒爽女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙小诚

longxiaocheng

气质大叔

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙小夏

longxiaoxia

温柔女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙小淳

longxiaochun

温柔姐姐

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙小白

longxiaobai

闲聊女声

新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙老铁

longlaotie

东北男声

对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙悦

longyue

评书女声

智能客服、新闻播报、有声读物、

中文及中英文混合

8k/16k/24k

否

否

Bella2.0

loongbella

新闻女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙书

longshu

新闻男声

新闻播报、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙婧

longjing

严肃女声

新闻播报、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙妙

longmiao

气质女声

智能客服、新闻播报、对话闲聊、有声读物、车载导航

中文及中英文混合

8k/16k/24k

否

否

龙老李

libai

普通话男声

诗词朗诵、散文、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙婉

longwan

普通话女声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙可

longke

活泼女童

智能客服、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙铃

longling

活泼女童

智能客服、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙绍

longshao

活力男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙泽

longze

阳光男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否

龙浩

longhao

温暖男声

智能客服、新闻播报、对话闲聊、有声读物

中文及中英文混合

8k/16k/24k

否

否