接口说明

更新时间:
复制 MD 格式

流式文本语音合成支持在同一会话中分段输入文本,并以二进制数据流返回合成音频,适用于接收大语言模型逐字或分段输出并实时播报的场景。本文介绍功能限制、服务地址、交互流程、请求参数和支持的音色。

功能与使用限制

  • 支持输出 PCM、WAV、MP3 和 OPUS 格式的音频。

  • 支持选择不同场景及风格的音色,并设置语速、语调和音量。这些参数只能在输入流开启前配置。

  • 同一会话中可以多次发送文本并接收音频,合成音频具有低延迟的特点。实时播放时,使用支持对应编码格式和流式输入的播放器。

  • 输入文本必须采用 UTF-8 编码。单次发送的文本不超过 10000 个字符,同一会话累计不超过 100000 个字符。1 个汉字、英文字母、标点或句子中间的空格均计为 1 个字符。

  • 流式文本输入不支持 SSML 标记。如需使用 SSML,应选择支持 SSML 的音色,并通过CosyVoice 长文本语音合成接口一次提交完整文本;该方式仍以数据流返回音频,但不支持在同一会话中分段发送文本。

计费和并发限制

  • 流式文本语音合成仅提供商用版,不支持试用。使用前需开通商用版,开通方式及计费方式请参见计费方式

  • 费用涉及的计费项请参见计费项

  • 并发限制请参见并发和 QPS 说明

服务地址

访问类型

说明

URL

公网访问

所有服务器均可使用。SDK 默认使用公网访问地址。

wss://nls-gateway-cn-beijing.aliyuncs.com/ws/v1

ECS 内网访问

华北 2(北京)地域的 ECS 实例可通过专有网络(VPC)访问。经典网络不支持通过 AnyTunnel 在内网访问语音服务。使用内网地址不产生 ECS 实例的公网流量费用。

ws://nls-gateway-cn-beijing-internal.aliyuncs.com:80/ws/v1

就近地域智能接入

流式文本语音合成支持通过 nls-gateway.aliyuncs.com 就近接入。推荐终端用户使用该域名,系统根据客户端的地理位置解析到最近地域的服务器。例如,在北京地域发起请求时,会解析到北京地域服务器,与指定 nls-gateway-cn-beijing.aliyuncs.com 的效果一致。

交互流程

image
  1. 鉴权:客户端建立 WebSocket 连接时,使用 NLS Token 进行鉴权。获取方式请参见获取Token

  2. 开始合成:发送 StartSynthesis,设置 Appkey、音色和音频格式等参数。服务端返回 SynthesisStarted 后,可以发送文本。

  3. 发送文本并接收音频:通过 RunSynthesis 分段发送文本。服务端返回合成音频的二进制数据,客户端按接收顺序保存或播放。启用时间戳时,还可接收相应的字幕事件。

  4. 结束输入并等待完成:全部文本发送完毕后,发送 StopSynthesis,继续接收剩余音频,直到服务端返回 SynthesisCompleted

请求参数

通过 SDK 的 FlowingSpeechSynthesizer 对象设置合成参数。下表中的 formatsample_rate 使用协议取值;在 Java SDK 中,也可使用相应的 OutputFormatEnumSampleRateEnum 枚举。

参数

类型

是否必选

说明

appkey

String

控制台创建的项目 Appkey。

voice

String

音色。取值及各音色支持的采样率、时间戳等能力,请参见音色列表

format

String

音频编码格式,取值为 pcmwavmp3opus。默认值:pcm

sample_rate

Integer

音频采样率,单位为 Hz。取值为 8000160002400048000,需在所选音色支持的范围内。默认值:16000。Java SDK 对应枚举为 SAMPLE_RATE_8KSAMPLE_RATE_16KSAMPLE_RATE_24KSAMPLE_RATE_48K

volume

Integer

音量,范围为 0~100。默认值:50。

speech_rate

Integer

语速,范围为 -500~500。默认值:0。

pitch_rate

Integer

语调,范围为 -500~500。默认值:0。

enable_subtitle

Boolean

是否开启字级别时间戳。需选择支持时间戳的音色,使用方法请参见时间戳功能介绍

enable_aigc_tag

Boolean

是否在生成的音频中添加 AIGC 隐性标识。设置为 true 时,将标识嵌入 WAV、MP3 或 OPUS 格式的音频中。默认值:false

aigc_propagator

String

AIGC 隐性标识中的 ContentPropagator 字段,用于标识内容传播者。仅在 enable_aigc_tagtrue 时生效。默认值:阿里云 UID。

aigc_propagate_id

String

AIGC 隐性标识中的 PropagateID 字段,用于唯一标识一次传播行为。仅在 enable_aigc_tagtrue 时生效。默认值:本次语音合成请求的 Task ID。

响应说明

服务端通过 WebSocket 二进制消息返回音频,通过 JSON 消息通知合成状态。合成完成后返回 SynthesisCompleted 事件。以下示例仅列出主要字段:

{
    "header": {
        "message_id": "05450bf69c53413f8d88aed1ee60****",
        "task_id": "640bc797bb684bd6960185651307****",
        "namespace": "FlowingSpeechSynthesizer",
        "name": "SynthesisCompleted",
        "status": 20000000,
        "status_text": "Gateway:SUCCESS:Success."
    },
    "payload": {
        "measureType": "TextLength",
        "measureLength": 12
    }
}

字段

类型

说明

header.name

String

事件名称。SynthesisCompleted 表示合成完成。

header.status

Integer

状态码,20000000 表示成功。

header.status_text

String

状态描述。

payload.measureType

String

计量类型。

payload.measureLength

Integer

本次合成的文本长度。该字段是响应计量信息,不是请求参数。

音色列表

根据合成语言、采样率和时间戳等需求选择音色,使用对应的 voice 参数值。

名称

voice参数值

类型

适用场景

支持语言

支持采样率(Hz)

支持字/句级别时间戳

支持儿化音

声音品质

阿斌

abin

广东普通话

对话数字人

支持中文及中英文混合场景

8K/16K/24K/48K

标准版

知小白

zhixiaobai

普通话女声

对话数字人

支持中文及中英文混合场景

8K/16K/24K/48K

标准版

知小夏

zhixiaoxia

普通话女声

对话数字人

支持中文及中英文混合场景

8K/16K/24K/48K

标准版

知小妹

zhixiaomei

普通话女声

直播数字人

支持中文及中英文混合场景

8K/16K/24K

标准版

知柜

zhigui

普通话女声

直播数字人

支持中文及中英文混合场景

8K/16K

标准版

知硕

zhishuo

普通话男声

客服数字人

支持中文及中英文混合场景

8K/16K

标准版

艾夏

aixia

普通话女声

客服数字人

支持中文及中英文混合场景

8K/16K

标准版

Cally

cally

美式英文女声

英语口语对话数字人

仅支持纯英文场景

8K/16K

标准版

知锋_多情感

zhifeng_emo

多种情感男声

通用场景

中文及中英文混合场景

8K/16K/24K

标准版

知冰_多情感

zhibing_emo

多种情感男声

通用场景

纯中文场景

8K/16K/24K

标准版

知妙_多情感

zhimiao_emo

多种情感女声

中英场景

中文及英文场景

8K/16K

标准版

知米_多情感

zhimi_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

标准版

知燕_多情感

zhiyan_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

标准版

知贝_多情感

zhibei_emo

多种情感童声

通用场景

中文及中英文混合场景

8K/16K

标准版

知甜_多情感

zhitian_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

标准版

小云

xiaoyun

标准女声

通用场景

中文及中英文混合场景

8K/16K

lite

小刚

xiaogang

标准男声

通用场景

中文及中英文混合场景

8K/16K

lite

若兮

ruoxi

温柔女声

通用场景

中文及中英文混合场景

8K/16K/24K

标准版

思琪

siqi

温柔女声

通用场景

中文及中英文混合场景

8K/16K/24K

标准版

思佳

sijia

标准女声

通用场景

中文及中英文混合场景

8K/16K/24K

标准版

思诚

sicheng

标准男声

通用场景

中文及中英文混合场景

8K/16K/24K

标准版

艾琪

aiqi

温柔女声

通用场景

中文及中英文混合场景

8K/16K

标准版

艾佳

aijia

标准女声

通用场景

中文及中英文混合场景

8K/16K

标准版

艾诚

aicheng

标准男声

通用场景

中文及中英文混合场景

8K/16K

标准版

艾达

aida

标准男声

通用场景

中文及中英文混合场景

8K/16K

标准版

宁儿

ninger

标准女声

通用场景

纯中文场景

8K/16K/24K

标准版

瑞琳

ruilin

标准女声

通用场景

纯中文场景

8K/16K/24K

标准版

思悦

siyue

温柔女声

客服场景

中文及中英文混合场景

8K/16K/24K

标准版

艾雅

aiya

严厉女声

客服场景

中文及中英文混合场景

8K/16K

标准版

艾美

aimei

甜美女声

客服场景

中文及中英文混合场景

8K/16K

标准版

艾雨

aiyu

自然女声

客服场景

中文及中英文混合场景

8K/16K

标准版

艾悦

aiyue

温柔女声

客服场景

中文及中英文混合场景

8K/16K

标准版

艾婧

aijing

严厉女声

客服场景

中文及中英文混合场景

8K/16K

标准版

小美

xiaomei

甜美女声

客服场景

中文及中英文混合场景

8K/16K/24K

标准版

艾娜

aina

浙普女声

客服场景

纯中文场景

8K/16K

标准版

伊娜

yina

浙普女声

客服场景

纯中文场景

8K/16K/24K

标准版

思婧

sijing

严厉女声

客服场景

纯中文场景

8K/16K/24K

标准版

思彤

sitong

儿童音

童声场景

纯中文场景

8K/16K/24K

标准版

小北

xiaobei

萝莉女声

童声场景

纯中文场景

8K/16K/24K

标准版

艾彤

aitong

儿童音

童声场景

纯中文场景

8K/16K

标准版

艾薇

aiwei

萝莉女声

童声场景

纯中文场景

8K/16K

标准版

艾宝

aibao

萝莉女声

童声场景

纯中文场景

8K/16K

标准版

Harry

harry

英音男声

英文场景

英文场景

8K/16K

标准版

Abby

abby

美音女声

英文场景

英文场景

8K/16K

标准版

Andy

andy

美音男声

英文场景

英文场景

8K/16K

标准版

Eric

eric

英音男声

英文场景

英文场景

8K/16K

标准版

Emily

emily

英音女声

英文场景

英文场景

8K/16K

标准版

Luna

luna

英音女声

英文场景

英文场景

8K/16K

标准版

Luca

luca

英音男声

英文场景

英文场景

8K/16K

标准版

Wendy

wendy

英音女声

英文场景

英文场景

8K/16K/24K

标准版

William

william

英音男声

英文场景

英文场景

8K/16K/24K

标准版

Olivia

olivia

英音女声

英文场景

英文场景

8K/16K/24K

标准版

姗姗

shanshan

粤语女声

方言场景

标准粤文(简体)及粤英文混合场景

8K/16K/24K

标准版

艾媛

aiyuan

知心姐姐

文学场景

中文及中英文混合场景

8K/16K

精品版

艾颖

aiying

软萌童声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾祥

aixiang

磁性男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾墨

aimo

情感男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾晔

aiye

青年男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾婷

aiting

电台女声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾凡

aifan

情感女声

文学场景

中文及中英文混合场景

8K/16K

精品版

Lydia

lydia

英中双语女声

英文场景

英文及英中文混合场景

8K/16K

标准版

小玥

chuangirl

四川话女声

方言场景

中文及中英文混合场景

8K/16K

标准版

艾硕

aishuo

自然男声

客服场景

中文及中英文混合场景

8K/16K

标准版

青青

qingqing

中国台湾话女声

方言场景

纯中文场景

8K/16K

标准版

翠姐

cuijie

东北话女声

方言场景

纯中文场景

8K/16K

标准版

小泽

xiaoze

湖南重口音男声

方言场景

纯中文场景

8K/16K

标准版

艾楠

ainan

广告男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾浩

aihao

资讯男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾茗

aiming

诙谐男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾笑

aixiao

资讯女声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾厨

aichu

舌尖男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾倩

aiqian

资讯女声

文学场景

中文及中英文混合场景

8K/16K

精品版

智香

tomoka

日语女声

多语种场景

纯日文场景

8K/16K

标准版

智也

tomoya

日语男声

多语种场景

纯日文场景

8K/16K

标准版

Annie

annie

美语女声

英文场景

纯英文场景

8K/16K

标准版

艾树

aishu

资讯男声

文学场景

中文及中英文混合场景

8K/16K

精品版

艾茹

airu

新闻女声

文学场景

中文及中英文混合场景

8K/16K

精品版

佳佳

jiajia

粤语女声

方言场景

标准粤文(简体)及粤英文混合场景

8K/16K

标准版

Indah

indah

印尼语女声

多语种场景

纯印尼语场景

8K/16K

标准版

桃子

taozi

粤语女声

方言场景

支持标准粤文(简体)及粤英文混合场景

8K/16K

标准版

柜姐

guijie

亲切女声

通用场景

支持中文及中英文混合场景

8K/16K

标准版

Stella

stella

知性女声

通用场景

支持中文及中英文混合场景

8K/16K

标准版

Stanley

stanley

沉稳男声

通用场景

支持中文及中英文混合场景

8K/16K

标准版

Kenny

kenny

沉稳男声

通用场景

支持中文及中英文混合场景

8K/16K

标准版

Rosa

rosa

自然女声

通用场景

支持中文及中英文混合场景

8K/16K

标准版

Farah

farah

马来语女声

多语种场景

仅支持纯马来语场景

8K/16K

标准版

马树

mashu

儿童剧男声

通用场景

通用场景

8K/16K

标准版

知琪

zhiqi

温柔女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知厨

zhichu

舌尖男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

小仙

xiaoxian

亲切女声

直播场景

支持中文及中英文混合场景

8K/16K

标准版

悦儿

yuer

儿童剧女声

通用场景

仅支持纯中文场景

8K/16K

标准版

猫小美

maoxiaomei

活力女声

直播场景

支持中文及中英文混合场景

8K/16K

标准版

知祥

zhixiang

磁性男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知佳

zhijia

标准女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知楠

zhinan

广告男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知倩

zhiqian

资讯女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知茹

zhiru

新闻女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知德

zhide

新闻男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

精品版

知飞

zhifei

激昂解说

超高清场景

支持中文及中英文混合场景

8K/16K

精品版

艾飞

aifei

激昂解说

直播场景

支持中文及中英文混合场景

8K/16K

标准版

亚群

yaqun

卖场广播

直播场景

支持中文及中英文混合场景

8K/16K

标准版

巧薇

qiaowei

卖场广播

直播场景

支持中文及中英文混合场景

8K/16K

标准版

大虎

dahu

东北话男声

方言场景

支持中文及中英文混合场景

8K/16K

标准版

ava

ava

美语女生

英文场景

仅支持纯英文场景

8K/16K

标准版

知伦

zhilun

悬疑解说

超高清场景

支持中文及中英文混合场景

8K/16K

精品版

艾伦

ailun

悬疑解说

直播场景

支持中文及中英文混合场景

8K/16K

标准版

杰力豆

jielidou

治愈童声

童声场景

仅支持纯中文场景

8K/16K

标准版

知薇

zhiwei

萝莉女声

超高清场景

仅支持纯中文场景

8K/16K/24K/48K

精品版

老铁

laotie

东北老铁

直播场景

仅支持纯中文场景

8K/16K

标准版

老妹

laomei

吆喝女声

直播场景

仅支持纯中文场景

8K/16K

标准版

艾侃

aikan

天津话男声

方言场景

仅支持纯中文场景

8K/16K

标准版

Tala

tala

菲律宾语女声

多语种场景

仅支持菲律宾语场景

8K/16K

标准版

知甜

zhitian

甜美女声

通用场景

支持中文及中英文混合场景

8K/16K

精品版

知青

zhiqing

中国台湾话女生

方言场景

仅支持纯中文场景

8K/16K

精品版

Tien

tien

越南语女声

多语种场景

仅支持越南语场景

8K/16K

标准版

Becca

becca

美语客服女声

美式英文

仅支持纯英语场景

8K/16K

标准版

Kyong

Kyong

韩语女声

韩语场景

韩语

8K/16K

标准版

masha

masha

俄语女声

俄语场景

俄语

8K/16K

标准版

camila

camila

西班牙语女声

西班牙语场景

西班牙语

8k/16k

标准版

perla

perla

意大利语女声

意大利语场景

意大利语

8k/16k

标准版

知猫

zhimao

普通话女声

直播

中文

8k/16k

标准版

知媛

zhiyuan

普通话女声

通用场景

中文

8k/16k

标准版

知雅

zhiya

普通话女声

客服

中文

8k/16k

标准版

知悦

zhiyue

普通话女声

通用场景

中文

8k/16k

标准版

知达

zhida

普通话男声

通用场景

中文及中英文混合场景

8k/16k

标准版

知莎

zhistella

普通话女声

通用场景

中文

8k/16k

标准版

Kelly

kelly

香港粤语女声

方言场景

香港粤语

8k/16k

标准版

clara

clara

法语女声

通用场景

法语

8k/16k

标准版

hanna

hanna

德语女声

通用场景

德语

8k/16k

标准版

waan

waan

泰语女声

通用场景

泰语

8k/16k

标准版

betty

betty

美式英文女声

通用场景

美式英文

8k/16k

标准版

beth

beth

美式英文女声

通用场景

美式英文

8k/16k

标准版

cindy

cindy

美式英文女声

通用场景

美式英文

8k/16k

标准版

donna

donna

美式英文女声

通用场景

美式英文

8k/16k

标准版

eva

eva

美式英文女声

通用场景

美式英文

8k/16k

标准版

brian

brian

美式英文男声

通用场景

美式英文

8k/16k

标准版

david

david

美式英文男声

通用场景

美式英文

8k/16k/24k

标准版

abby_ecmix

abby_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

annie_ecmix

annie_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

andy_ecmix

andy_ecmix

美式英文男声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

ava_ecmix

ava_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

betty_ecmix

betty_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

beth_ecmix

beth_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

brian_ecmix

brian_ecmix

美式英文男声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

cindy_ecmix

cindy_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

cally_ecmix

cally_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

donna_ecmix

donna_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

david_ecmix

david_ecmix

美式英文男声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版

eva_ecmix

eva_ecmix

美式英文女声

通用场景

英文及英中文混合场景

8k/16k/24k

标准版