接口说明

长文本语音合成功能提供了将超长文本(如千字或者万字)合成为语音二进制数据的功能。

←返回语音合成产品详情页

新推出超高清合成声音

持续新增多个超高清合成声音,可提供超高音质合成效果,采样率高达48 kHz,无损声音,纤毫毕现。

超高清样音试听:

知琪(zhiqi)

知厨(zhichu)

更多合成效果可至语音合成产品详情页进行体验。

功能介绍

  • 支持输出PCM、WAV和MP3编码格式数据。

  • 支持设置语速、语调和音量。

  • 支持设置男声、女声。

  • 长文本语音合成服务相比语音合成服务有其独特优势:

    • 支持更长文字输入:一次性合成最高1万字符(其中1个汉字、1个英文字母或1个标点均算作1个字符)。

    • 专属声音:按场景打造专属精品声音,完美贴合阅读小说、新闻、视频配音等场景。

  • 支持多情感声音调用,具体请参见标记语言介绍中的<emotion>标签。

说明

使用长文本语音合成功能,需要将SDK更新至最新版本。

声音类型

名称

voice参数值

类型

适用场景

支持语言

支持采样率(Hz)

支持字\句级别时间戳

支持接口类型

支持儿化音

声音品质

知米_多情感

zhimi_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

知燕_多情感

zhiyan_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

知贝_多情感

zhibei_emo

多种情感童声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

知甜_多情感

zhitian_emo

多种情感女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

小云

xiaoyun

标准女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

lite版

小刚

xiaogang

标准男声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

lite版

若兮

ruoxi

温柔女声

通用场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思琪

siqi

温柔女声

通用场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思佳

sijia

标准女声

通用场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思诚

sicheng

标准男声

通用场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

艾琪

aiqi

温柔女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾佳

aijia

标准女声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾诚

aicheng

标准男声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾达

aida

标准男声

通用场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

宁儿

ninger

标准女声

通用场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

瑞琳

ruilin

标准女声

通用场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思悦

siyue

温柔女声

客服场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

艾雅

aiya

严厉女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾夏

aixia

亲和女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾美

aimei

甜美女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾雨

aiyu

自然女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾悦

aiyue

温柔女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾婧

aijing

严厉女声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

小美

xiaomei

甜美女声

客服场景

中文及中英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

艾娜

aina

浙普女声

客服场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

伊娜

yina

浙普女声

客服场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思婧

sijing

严厉女声

客服场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

思彤

sitong

儿童音

童声场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

小北

xiaobei

萝莉女声

童声场景

纯中文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

艾彤

aitong

儿童音

童声场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

艾薇

aiwei

萝莉女声

童声场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

艾宝

aibao

萝莉女声

童声场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

Harry

harry

英音男声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Abby

abby

美音女声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Andy

andy

美音男声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Eric

eric

英音男声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Emily

emily

英音女声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Luna

luna

英音女声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK、RESTful API

标准版

Luca

luca

英音男声

英文场景

英文场景

8K/16K

Java SDK、C++ SDK

标准版

Wendy

wendy

英音女声

英文场景

英文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

William

william

英音男声

英文场景

英文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

Olivia

olivia

英音女声

英文场景

英文场景

8K/16K/24K

Java SDK、C++ SDK

标准版

姗姗

shanshan

粤语女声

方言场景

标准粤文(简体)及粤英文混合场景

8K/16K/24K

Java SDK、C++ SDK

标准版

艾媛

aiyuan

知心姐姐

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾颖

aiying

软萌童声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾祥

aixiang

磁性男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾墨

aimo

情感男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾晔

aiye

青年男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾婷

aiting

电台女声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾凡

aifan

情感女声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

Lydia

lydia

英中双语女声

英文场景

英文及英中文混合场景

8K/16K

Java SDK、C++ SDK

标准版

小玥

chuangirl

四川话女声

方言场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾硕

aishuo

自然男声

客服场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

艾德

aide

新闻男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

青青

qingqing

中国台湾话女声

方言场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

翠姐

cuijie

东北话女声

方言场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

小泽

xiaoze

湖南重口音男声

方言场景

纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

艾楠

ainan

广告男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾浩

aihao

资讯男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾茗

aiming

诙谐男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾笑

aixiao

资讯女声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾厨

aichu

舌尖男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾倩

aiqian

资讯女声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

智香

tomoka

日语女声

多语种场景

纯日文场景

8K/16K

Java SDK、C++ SDK

标准版

智也

tomoya

日语男声

多语种场景

纯日文场景

8K/16K

Java SDK、C++ SDK

标准版

Annie

annie

美语女声

英文场景

纯英文场景

8K/16K

Java SDK、C++ SDK

标准版

艾树

aishu

资讯男声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾茹

airu

新闻女声

文学场景

中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

佳佳

jiajia

粤语女声

方言场景

标准粤文(简体)及粤英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Indah

indah

印尼语女声

多语种场景

纯印尼语场景

8K/16K

Java SDK、C++ SDK

标准版

桃子

taozi

粤语女声

方言场景

支持标准粤文(简体)及粤英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

柜姐

guijie

亲切女声

通用场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Stella

stella

知性女声

通用场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Stanley

stanley

沉稳男声

通用场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Kenny

kenny

沉稳男声

通用场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Rosa

rosa

自然女声

通用场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

Farah

farah

马来语女声

多语种场景

仅支持纯马来语场景

8K/16K

Java SDK、C++ SDK

标准版

马树

mashu

儿童剧男声

通用场景

通用场景

8K/16K

Java SDK、C++ SDK

标准版

知琪

zhiqi

温柔女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知厨

zhichu

舌尖男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

小仙

xiaoxian

亲切女声

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

悦儿

yuer

儿童剧女声

通用场景

仅支持纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

猫小美

maoxiaomei

活力女声

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

知祥

zhixiang

磁性男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知佳

zhijia

标准女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知楠

zhinan

广告男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知倩

zhiqian

资讯女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知茹

zhiru

新闻女声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知德

zhide

新闻男声

超高清场景

支持中文及中英文混合场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

知飞

zhifei

激昂解说

超高清场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾飞

aifei

激昂解说

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

亚群

yaqun

卖场广播

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

巧薇

qiaowei

卖场广播

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

大虎

dahu

东北话男声

方言场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

ava

ava

美语女生

英文场景

仅支持纯英文场景

8K/16K

Java SDK、C++ SDK

标准版

知伦

zhilun

悬疑解说

超高清场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

精品版

艾伦

ailun

悬疑解说

直播场景

支持中文及中英文混合场景

8K/16K

Java SDK、C++ SDK

标准版

杰力豆

jielidou

治愈童声

童声场景

仅支持纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

知薇

zhiwei

萝莉女声

超高清场景

仅支持纯中文场景

8K/16K/24K/48K

Java SDK、C++ SDK

精品版

老铁

laotie

东北老铁

直播场景

仅支持纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

老妹

laomei

吆喝女声

直播场景

仅支持纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

艾侃

aikan

天津话男声

方言场景

仅支持纯中文场景

8K/16K

Java SDK、C++ SDK

标准版

Tala

tala

菲律宾语女声

多语种场景

仅支持菲律宾语场景

8K/16K

Java SDK、C++ SDK

标准版

Tien

tien

越南语女声

多语种场景

仅支持越南语场景

8K/16K

Java SDK、C++ SDK

标准版

Becca

becca

美语客服女声

美式英文

仅支持纯英语场景

8K/16K

Java SDK、C++ SDK

标准版

多情感声音支持说明

多情感声音支持的情感如下表所示,每个音色支持的情感分类不完全相同,主要包括以下几种:neutral(无情感)、happy(开心)、angry(生气)、sad(悲伤)、fear(害怕)、hate(厌恶)、surprise(惊讶)、arousal(激动)等。

音色名

voice参数值

情感分类(emotion category)

知米_多情感

zhimi_emo

angry, fear, happy, hate, neutral, sad, surprise

知燕_多情感

zhiyan_emo

neutral,happy,angry,sad,fear,hate,surprise,arousal

知贝_多情感

zhibei_emo

neutral,happy,angry,sad,fear,hate,surprise

知甜_多情感

zhitian_emo

neutral,happy,angry,sad,fear,hate,surprise

调用说明

  • 传入文本必须采用UTF-8编码。

  • 长文本语音合成和语音合成在很多地方都是相似的,可进行对比。

服务地址

访问类型

说明

URL

外网访问

所有服务器均可使用外网访问URL(SDK中默认设置了外网访问URL,不需您设置)

wss://nls-gateway.cn-shanghai.aliyuncs.com/ws/v1

阿里云上海ECS内网访问

使用阿里云上海ECS(ECS地域为华东2(上海)),可使用内网访问URL。 ECS的经典网络不能访问AnyTunnel,即不能在内网访问语音服务;如果希望使用AnyTunnel,需要创建专有网络在其内部访问。

说明

  • 使用内网访问方式,将不产生ECS实例的公网流量费用。

  • 关于ECS的网络类型请参见网络类型

ws://nls-gateway.cn-shanghai-internal.aliyuncs.com:80/ws/v1

交互流程

长文本交互流程
说明

  • 上图不包含RESTful API的交互流程,关于RESTful API的交互流程图请参见RESTful API

  • 服务端的响应除了音频流之外,都会在返回信息的header包含本次识别任务的task_id参数,是本次请求的唯一标识。

1.鉴权

客户端在与服务端建立WebSocket连接时,使用Token进行鉴权。Token获取请参见获取Token概述

2.开始合成

客户端发送语音合成请求,在请求消息中进行参数设置,各参数通过SDK中SpeechSynthesizer对象的相关set方法设置,含义如下。

参数

类型

是否必选

说明

appkey

String

管控台创建的项目Appkey。

text

String

待合成文本,文本内容必须采用UTF-8编码(英文单词之间需要添加空格)。

说明

调用某音色的多情感内容,需要在text中加上ssml-emotion标签,具体请参见标记语言介绍中的<emotion>标签。

voice

String

发音人,默认是xiaoyun。

format

String

音频编码格式,默认值:pcm。支持的格式:pcm、wav、mp3。

sample_rate

Integer

音频采样率,默认值:16000。

volume

Integer

音量,范围是0~100。默认值:50。

speech_rate

Integer

语速,取值范围:-500~500。默认值:0。

[-500, 0, 500] 对应的语速倍速区间为 [0.5, 1.0, 2.0]。

  • -500表示默认语速的0.5倍速。

  • 0表示默认语速的1倍速。1倍速是指模型默认输出的合成语速,语速会依据每一个发音人略有不同,大概每秒钟4个字左右。

  • 500表示默认语速的2倍速。

计算方法如下:

  • 0.8倍速(1-1/0.8)/0.002 = -125

  • 1.2倍速(1-1/1.2)/0.001 = 166

说明

  • 小于1倍速时,使用0.002系数。

  • 大于1倍速时,使用0.001系数。

实际算法结果取近似值。

pitch_rate

Integer

语调,取值范围:-500~500。默认值:0。

3.接收合成数据

服务端返回合成的语音二进制数据,SDK接收并处理二进制数据。

4.结束合成

语音合成完毕,服务端发送合成完毕事件通知,示例如下。

{
    "header":{
        "namespace":"SpeechLongSynthesizer",
        "name":"SynthesisCompleted",
        "status":20000000,
        "message_id":"396c80b3abf84082a48cb9e5c424****",
        "task_id":"f5805be640364cdcafc8da63e512****",
        "status_text":"Gateway:SUCCESS:Success."
    }
}

服务状态码

在服务的每一次响应中,都包含status字段,即服务状态码,状态码各种取值含义如下。

  • 通用错误

    错误码

    原因

    解决办法

    40000001

    身份认证失败

    检查使用的令牌是否正确,是否过期。

    40000002

    无效的消息

    检查发送的消息是否符合要求。

    403

    令牌过期或无效的参数

    1. 检查使用的令牌是否过期。

    2. 检查参数值设置是否合理。

    40000004

    空闲超时

    确认是否长时间(10秒)未发送数据到服务端。

    40000005

    请求数量过多

    检查是否超过了并发连接数或者每秒钟请求数。如果超过并发数,建议从免费版升级到商用版,或者商用版扩容并发资源。

    40000000

    默认的客户端错误码

    检查对应的错误消息。

    40000010

    新用户免费试用3个月已到期

    继续使用需要付费商用,请前往控制台,在服务管理与开通页面,单击目标服务右侧的升级为商用版,进行付费使用。

    50000000

    默认的服务端错误

    内部服务错误,需要客户端进行重试。

    50000001

    内部调用错误

    内部服务错误,需要客户端进行重试。

  • 网关错误

    错误码

    原因

    解决办法

    40010001

    不支持的接口

    请升级到最新的SDK。

    40010002

    不支持的指令

    请升级到最新的SDK。

    40010003

    无效的指令

    请升级到最新的SDK。

    40010004

    客户端提前断开连接

    检查是否在请求正常完成之前已关闭连接。

    40010005

    任务状态错误

    检查是否发送当前任务状态不能处理的指令。

  • 配置错误

    错误码

    原因

    解决办法

    40020105

    应用不存在

    检查应用appkey是否正确,是否与令牌归属同一个账号。

  • TTS(Text to Speech)错误

    错误码

    原因

    解决办法

    41020001

    参数错误

    检查是否传递了正确的参数。

    51020001

    TTS服务端错误

    内部服务错误,需要客户端进行重试。

阿里云首页 智能语音交互 相关技术圈