智能语音交互实时长文本语音合成接口说明-智能语音交互(ISI)-阿里云帮助中心

实时长文本语音合成将长文本转换为语音二进制数据，通过 WebSocket 流式返回音频，可用于小说朗读、新闻播报和视频配音等场景。

功能与使用限制

支持输出 PCM、WAV 和 MP3 格式的音频。
支持设置语速、语调和音量，提供男声、女声及不同场景的音色。
单次输入文本须小于 10000 个字符。一个汉字、一个英文字母、一个标点或一个句子中间的空格均算作一个字符，SSML 标签不计入字符数。文本使用 UTF-8 编码，英文单词之间需保留空格。
支持多情感声音，各音色支持的情感请参见本文的多情感声音支持说明。

重要

使用实时长文本语音合成前，请将 SDK 更新到最新版本。安装方法和完整代码示例请参见Java SDK和C++ SDK。

计费和并发限制

实时长文本语音合成仅提供商用版，不支持试用，使用前需开通商用版。服务版本与计费项请参见计费项，开通方法和计费方式请参见计费方式。并发限制请参见并发和 QPS 说明。

服务地址

公网地址可用于所有服务器。SDK 默认使用上海公网地址；选择其他地址时，在创建客户端时显式设置。

访问方式	适用条件	服务地址
公网访问	所有服务器均可使用。	上海：`wss://nls-gateway-cn-shanghai.aliyuncs.com/ws/v1` 北京：`wss://nls-gateway-cn-beijing.aliyuncs.com/ws/v1` 深圳：`wss://nls-gateway-cn-shenzhen.aliyuncs.com/ws/v1`
ECS 内网访问	使用华东 2（上海）、华北 2（北京）或华南 1（深圳）地域的 ECS 实例，通过对应地域的 VPC 访问。经典网络不支持在内网访问语音服务。	上海：`ws://nls-gateway-cn-shanghai-internal.aliyuncs.com:80/ws/v1` 北京：`ws://nls-gateway-cn-beijing-internal.aliyuncs.com:80/ws/v1` 深圳：`ws://nls-gateway-cn-shenzhen-internal.aliyuncs.com:80/ws/v1`

说明

通过内网访问不会产生 ECS 实例的公网流量费用。

就近地域智能接入

建议终端用户使用就近地域智能接入地址 wss://nls-gateway.aliyuncs.com/ws/v1。系统根据客户端所在的地理位置，将域名解析到就近地域的服务器。例如，在北京地域发起请求时，会解析到北京地域的服务器，与指定北京地域域名的效果一致。

交互流程

以下流程适用于 WebSocket 实时长文本语音合成。异步长文本语音合成的调用方式请参见RESTful API。

1. 鉴权

客户端建立 WebSocket 连接时使用 NLS Token 鉴权，获取方法请参见获取 Token。项目 Appkey 的获取方法请参见管理项目。Appkey 与 Token 需属于同一账号。

2. 开始合成

客户端发送 StartSynthesis 请求，命名空间为 SpeechLongSynthesizer。使用 Java SDK 时，调用 SpeechSynthesizer.setLongText() 设置长文本，通过 setAppKey() 设置 Appkey，其他参数使用对应的设置方法或 addCustomedParam() 设置。

参数	类型	是否必选	说明
`appkey`	String	是	项目 Appkey，位于请求的 `header` 中。
`text`	String	是	待合成文本，位于 `payload` 中，须符合前面的文本长度和编码要求。说明使用多情感音色时，通过 `text` 中的 `<emotion>` 标签设置情感，所选音色须支持对应情感类别。标签用法请参见SSML 标记语言介绍。
`voice`	String	否	发音人，默认 `xiaoyun`。支持的音色、语言和采样率请参见本文的音色列表。
`format`	String	否	输出音频格式，支持 `pcm`、`wav`、`mp3`，默认 `pcm`。
`sample_rate`	Integer	否	音频采样率，默认 16000，单位为 Hz。具体取值由所选音色决定。
`volume`	Integer	否	音量，取值范围为 0～100，默认 50。
`speech_rate`	Integer	否	语速，取值范围为 -500～500，默认 0。与语速倍速的关系见下文。 `speech_rate` 为 -500、0、500 时，对应的语速倍速分别为 0.5、1.0、2.0。1.0 倍速为模型默认语速，因发音人而略有不同，大约每秒 4 个字。小于 1.0 倍速时，按 `(1 - 1 / 倍速) / 0.002` 计算。例如，0.8 倍速对应 `(1 - 1 / 0.8) / 0.002 = -125`。大于 1.0 倍速时，按 `(1 - 1 / 倍速) / 0.001` 计算。例如，1.2 倍速对应近似值 166。计算结果取近似整数。
`pitch_rate`	Integer	否	语调，取值范围为 -500～500，默认 0。
`enable_subtitle`	Boolean	否	开启字级和句级时间戳，所选音色需支持该功能。使用方法请参见时间戳功能介绍。

3. 接收合成数据

服务端通过二进制 WebSocket 帧返回音频，SDK 接收并处理这些数据。需要实时播放时，可以边接收音频数据边播放，以减少等待时间。

开启时间戳且音色支持该功能时，服务端通过 MetaInfo 消息返回字幕信息。除音频二进制数据外，响应消息的 header.task_id 用于标识本次合成任务。

4. 结束合成

合成完成后，服务端返回 SynthesisCompleted，示例如下：

{
    "header":{
        "namespace":"SpeechLongSynthesizer",
        "name":"SynthesisCompleted",
        "status":20000000,
        "message_id":"396c80b3abf84082a48cb9e5c424****",
        "task_id":"f5805be640364cdcafc8da63e512****",
        "status_text":"Gateway:SUCCESS:Success."
    }
}

5. 处理合成失败

参数或其他原因导致合成失败时，服务端返回 TaskFailed，并断开对应的底层连接。以下示例表示一次合成失败：

{
   "header":{
      "namespace":"Default",
      "name":"TaskFailed",
      "status":41020001,
      "message_id":"62c126f7d9b340deb82b5b7eaca0****",
      "task_id":"4552df26d1f547aab9a2c4a94678****",
      "status_text":"TTS:TtsClientError:[tts]Engine return error code: 418"
   }
}

根据消息中的 header.status 和 header.status_text 排查错误，详情请参见后面的错误处理。

音色列表

下表列出可用于实时长文本语音合成的音色及其支持范围。

名称	voice参数值	类型	适用场景	支持语言	支持采样率（Hz）	支持字/句级别时间戳	支持儿化音	声音品质
阿斌	abin	广东普通话	对话数字人	支持中文及中英文混合场景	8K/16K/24K/48K	否	否	标准版
知小白	zhixiaobai	普通话女声	对话数字人	支持中文及中英文混合场景	8K/16K/24K/48K	否	是	标准版
知小夏	zhixiaoxia	普通话女声	对话数字人	支持中文及中英文混合场景	8K/16K/24K/48K	否	是	标准版
知小妹	zhixiaomei	普通话女声	直播数字人	支持中文及中英文混合场景	8K/16K/24K	是	是	标准版
知柜	zhigui	普通话女声	直播数字人	支持中文及中英文混合场景	8K/16K	是	是	标准版
知硕	zhishuo	普通话男声	客服数字人	支持中文及中英文混合场景	8K/16K	是	是	标准版
艾夏	aixia	普通话女声	客服数字人	支持中文及中英文混合场景	8K/16K	是	是	标准版
Cally	cally	美式英文女声	英语口语对话数字人	仅支持纯英文场景	8K/16K	是	是	标准版
知锋_多情感	zhifeng_emo	多种情感男声	通用场景	中文及中英文混合场景	8K/16K/24K	是	是	标准版
知冰_多情感	zhibing_emo	多种情感男声	通用场景	纯中文场景	8K/16K/24K	是	是	标准版
知妙_多情感	zhimiao_emo	多种情感女声	中英场景	中文及英文场景	8K/16K	是	是	标准版
知米_多情感	zhimi_emo	多种情感女声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
知燕_多情感	zhiyan_emo	多种情感女声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
知贝_多情感	zhibei_emo	多种情感童声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
知甜_多情感	zhitian_emo	多种情感女声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
小云	xiaoyun	标准女声	通用场景	中文及中英文混合场景	8K/16K	否	否	lite版
小刚	xiaogang	标准男声	通用场景	中文及中英文混合场景	8K/16K	否	否	lite版
若兮	ruoxi	温柔女声	通用场景	中文及中英文混合场景	8K/16K/24K	否	否	标准版
思琪	siqi	温柔女声	通用场景	中文及中英文混合场景	8K/16K/24K	是	否	标准版
思佳	sijia	标准女声	通用场景	中文及中英文混合场景	8K/16K/24K	否	否	标准版
思诚	sicheng	标准男声	通用场景	中文及中英文混合场景	8K/16K/24K	是	否	标准版
艾琪	aiqi	温柔女声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾佳	aijia	标准女声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾诚	aicheng	标准男声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾达	aida	标准男声	通用场景	中文及中英文混合场景	8K/16K	是	否	标准版
宁儿	ninger	标准女声	通用场景	纯中文场景	8K/16K/24K	否	否	标准版
瑞琳	ruilin	标准女声	通用场景	纯中文场景	8K/16K/24K	否	否	标准版
思悦	siyue	温柔女声	客服场景	中文及中英文混合场景	8K/16K/24K	是	否	标准版
艾雅	aiya	严厉女声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾美	aimei	甜美女声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾雨	aiyu	自然女声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾悦	aiyue	温柔女声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
艾婧	aijing	严厉女声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
小美	xiaomei	甜美女声	客服场景	中文及中英文混合场景	8K/16K/24K	否	否	标准版
艾娜	aina	浙普女声	客服场景	纯中文场景	8K/16K	是	否	标准版
伊娜	yina	浙普女声	客服场景	纯中文场景	8K/16K/24K	否	否	标准版
思婧	sijing	严厉女声	客服场景	纯中文场景	8K/16K/24K	是	否	标准版
思彤	sitong	儿童音	童声场景	纯中文场景	8K/16K/24K	否	否	标准版
小北	xiaobei	萝莉女声	童声场景	纯中文场景	8K/16K/24K	是	否	标准版
艾彤	aitong	儿童音	童声场景	纯中文场景	8K/16K	是	否	标准版
艾薇	aiwei	萝莉女声	童声场景	纯中文场景	8K/16K	是	否	标准版
艾宝	aibao	萝莉女声	童声场景	纯中文场景	8K/16K	是	否	标准版
Harry	harry	英音男声	英文场景	英文场景	8K/16K	否	否	标准版
Abby	abby	美音女声	英文场景	英文场景	8K/16K	是	否	标准版
Andy	andy	美音男声	英文场景	英文场景	8K/16K	是	否	标准版
Eric	eric	英音男声	英文场景	英文场景	8K/16K	是	否	标准版
Emily	emily	英音女声	英文场景	英文场景	8K/16K	是	否	标准版
Luna	luna	英音女声	英文场景	英文场景	8K/16K	是	否	标准版
Luca	luca	英音男声	英文场景	英文场景	8K/16K	是	否	标准版
Wendy	wendy	英音女声	英文场景	英文场景	8K/16K/24K	否	否	标准版
William	william	英音男声	英文场景	英文场景	8K/16K/24K	否	否	标准版
Olivia	olivia	英音女声	英文场景	英文场景	8K/16K/24K	否	否	标准版
姗姗	shanshan	粤语女声	方言场景	标准粤文（简体）及粤英文混合场景	8K/16K/24K	否	否	标准版
艾媛	aiyuan	知心姐姐	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾颖	aiying	软萌童声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾祥	aixiang	磁性男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾墨	aimo	情感男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾晔	aiye	青年男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾婷	aiting	电台女声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾凡	aifan	情感女声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
Lydia	lydia	英中双语女声	英文场景	英文及英中文混合场景	8K/16K	是	否	标准版
小玥	chuangirl	四川话女声	方言场景	中文及中英文混合场景	8K/16K	否	否	标准版
艾硕	aishuo	自然男声	客服场景	中文及中英文混合场景	8K/16K	是	否	标准版
青青	qingqing	中国台湾话女声	方言场景	纯中文场景	8K/16K	否	否	标准版
翠姐	cuijie	东北话女声	方言场景	纯中文场景	8K/16K	是	是	标准版
小泽	xiaoze	湖南重口音男声	方言场景	纯中文场景	8K/16K	否	否	标准版
艾楠	ainan	广告男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾浩	aihao	资讯男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾茗	aiming	诙谐男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾笑	aixiao	资讯女声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾厨	aichu	舌尖男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾倩	aiqian	资讯女声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
智香	tomoka	日语女声	多语种场景	纯日文场景	8K/16K	是	否	标准版
智也	tomoya	日语男声	多语种场景	纯日文场景	8K/16K	是	否	标准版
Annie	annie	美语女声	英文场景	纯英文场景	8K/16K	是	否	标准版
艾树	aishu	资讯男声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
艾茹	airu	新闻女声	文学场景	中文及中英文混合场景	8K/16K	是	是	精品版
佳佳	jiajia	粤语女声	方言场景	标准粤文（简体）及粤英文混合场景	8K/16K	是	否	标准版
Indah	indah	印尼语女声	多语种场景	纯印尼语场景	8K/16K	否	否	标准版
桃子	taozi	粤语女声	方言场景	支持标准粤文（简体）及粤英文混合场景	8K/16K	是	否	标准版
柜姐	guijie	亲切女声	通用场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
Stella	stella	知性女声	通用场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
Stanley	stanley	沉稳男声	通用场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
Kenny	kenny	沉稳男声	通用场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
Rosa	rosa	自然女声	通用场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
Farah	farah	马来语女声	多语种场景	仅支持纯马来语场景	8K/16K	否	否	标准版
马树	mashu	儿童剧男声	通用场景	通用场景	8K/16K	是	否	标准版
知琪	zhiqi	温柔女声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知厨	zhichu	舌尖男声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	是	精品版
小仙	xiaoxian	亲切女声	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
悦儿	yuer	儿童剧女声	通用场景	仅支持纯中文场景	8K/16K	是	否	标准版
猫小美	maoxiaomei	活力女声	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
知祥	zhixiang	磁性男声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知佳	zhijia	标准女声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知楠	zhinan	广告男声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知倩	zhiqian	资讯女声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知茹	zhiru	新闻女声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知德	zhide	新闻男声	超高清场景	支持中文及中英文混合场景	8K/16K/24K/48K	是	否	精品版
知飞	zhifei	激昂解说	超高清场景	支持中文及中英文混合场景	8K/16K	是	否	精品版
艾飞	aifei	激昂解说	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
亚群	yaqun	卖场广播	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
巧薇	qiaowei	卖场广播	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
大虎	dahu	东北话男声	方言场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
ava	ava	美语女声	英文场景	仅支持纯英文场景	8K/16K	是	否	标准版
知伦	zhilun	悬疑解说	超高清场景	支持中文及中英文混合场景	8K/16K	是	否	精品版
艾伦	ailun	悬疑解说	直播场景	支持中文及中英文混合场景	8K/16K	是	是	标准版
杰力豆	jielidou	治愈童声	童声场景	仅支持纯中文场景	8K/16K	是	是	标准版
知薇	zhiwei	萝莉女声	超高清场景	仅支持纯中文场景	8K/16K/24K/48K	是	否	精品版
老铁	laotie	东北老铁	直播场景	仅支持纯中文场景	8K/16K	是	是	标准版
老妹	laomei	吆喝女声	直播场景	仅支持纯中文场景	8K/16K	是	是	标准版
艾侃	aikan	天津话男声	方言场景	仅支持纯中文场景	8K/16K	是	是	标准版
Tala	tala	菲律宾语女声	多语种场景	仅支持菲律宾语场景	8K/16K	否	否	标准版
知甜	zhitian	甜美女声	通用场景	支持中文及中英文混合场景	8K/16K	是	否	精品版
知青	zhiqing	中国台湾话女声	方言场景	仅支持纯中文场景	8K/16K	是	否	精品版
Tien	tien	越南语女声	多语种场景	仅支持越南语场景	8K/16K	否	否	标准版
Becca	becca	美语客服女声	美式英文	仅支持纯英语场景	8K/16K	否	否	标准版
Kyong	Kyong	韩语女声	韩语场景	韩语	8K/16K	否	否	标准版
masha	masha	俄语女声	俄语场景	俄语	8K/16K	否	否	标准版
camila	camila	西班牙语女声	西班牙语场景	西班牙语	8k/16k	否	否	标准版
perla	perla	意大利语女声	意大利语场景	意大利语	8k/16k	否	否	标准版
知猫	zhimao	普通话女声	直播	中文	8k/16k	是	否	标准版
知媛	zhiyuan	普通话女声	通用场景	中文	8k/16k	是	否	标准版
知雅	zhiya	普通话女声	客服	中文	8k/16k	是	否	标准版
知悦	zhiyue	普通话女声	通用场景	中文	8k/16k	是	否	标准版
知达	zhida	普通话男声	通用场景	中文及中英文混合场景	8k/16k	是	否	标准版
知莎	zhistella	普通话女声	通用场景	中文	8k/16k	是	否	标准版
Kelly	kelly	香港粤语女声	方言场景	香港粤语	8k/16k	是	否	标准版
clara	clara	法语女声	通用场景	法语	8k/16k	否	否	标准版
hanna	hanna	德语女声	通用场景	德语	8k/16k	否	否	标准版
waan	waan	泰语女声	通用场景	泰语	8k/16k	否	否	标准版
betty	betty	美式英文女声	通用场景	美式英文	8k/16k	是	否	标准版
beth	beth	美式英文女声	通用场景	美式英文	8k/16k	是	否	标准版
cindy	cindy	美式英文女声	通用场景	美式英文	8k/16k	是	否	标准版
donna	donna	美式英文女声	通用场景	美式英文	8k/16k	是	否	标准版
eva	eva	美式英文女声	通用场景	美式英文	8k/16k	是	否	标准版
brian	brian	美式英文男声	通用场景	美式英文	8k/16k	是	否	标准版
david	david	美式英文男声	通用场景	美式英文	8k/16k/24k	是	否	标准版
abby_ecmix	abby_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
annie_ecmix	annie_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
andy_ecmix	andy_ecmix	美式英文男声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
ava_ecmix	ava_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
betty_ecmix	betty_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
beth_ecmix	beth_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
brian_ecmix	brian_ecmix	美式英文男声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
cindy_ecmix	cindy_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
cally_ecmix	cally_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
donna_ecmix	donna_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
david_ecmix	david_ecmix	美式英文男声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版
eva_ecmix	eva_ecmix	美式英文女声	通用场景	英文及英中文混合场景	8k/16k/24k	是	否	标准版

多情感声音支持说明

只有多情感音色支持情感选择，各音色支持的情感类别不同。情感类别包括 neutral（中性）、happy（开心）、angry（生气）、sad（悲伤）、fear（害怕）、hate（憎恨）、surprise（惊讶）、arousal（激动）、serious（严肃）、disgust（厌恶）、jealousy（嫉妒）、embarrassed（尴尬）、frustrated（沮丧）、affectionate（深情）、gentle（温柔）、newscast（播报）、customer-service（客服）、story（小说）和 living（直播）。

音色名	voice参数值	情感分类（emotion category）
知锋_多情感	zhifeng_emo	angry，fear，happy，neutral，sad，surprise
知冰_多情感	zhibing_emo	angry，fear，happy，neutral，sad，surprise
知妙_多情感	zhimiao_emo	serious，sad，disgust，jealousy，embarrassed，happy，fear，surprise，neutral，frustrated，affectionate，gentle，angry，newscast，customer-service，story，living
知米_多情感	zhimi_emo	angry，fear，happy，hate，neutral，sad，surprise
知燕_多情感	zhiyan_emo	neutral，happy，angry，sad，fear，hate，surprise，arousal
知贝_多情感	zhibei_emo	neutral，happy，angry，sad，fear，hate，surprise
知甜_多情感	zhitian_emo	neutral，happy，angry，sad，fear，hate，surprise

错误处理

header.status 为服务状态码，20000000 表示成功；调用失败时，根据 header.status 和 header.status_text 处理错误。状态码及解决方法请参见错误码查询。