语音实时合成服务在输出音频流的同时，可输出每个汉字/英文单词在音频中的时间位置，即时间戳，时间戳功能又叫字级别音素边界接口。该时间信息可用于驱动虚拟人口型、做视频配音字幕等。
只有支持字级别音素边界接口的发音人才有此功能。
由于HTTP协议传输方式的限制，短文本语音合成RESTful API不支持返回时间戳信息。
TTS服务返回的字幕是基于发音的，所以不能直接用于上屏，需要使用您的原始文本。
如果用于上屏，可以基于返回的结果，定位每个句子的句首和句尾时间戳。
参数设置
在客户端设置请求参数enable_subtitle为true，开启时间戳功能。
以Java SDK为例，其设置⽅式如下。
// 是否开启字幕功能（返回对应文本的相应时间戳），默认不开启。
synthesizer.addCustomedParam("enable_subtitle", true);服务端响应
服务端返回的带字幕信息的响应MetaInfo事件。
参数 | 类型 | 说明 |
subtitles | List | 时间戳信息。 |
其中，SubtitleItem格式如下。
参数 | 类型 | 说明 |
text | String | ⽂本信息。 |
begin_time | Integer | ⽂本对应tts语⾳开始时间戳，单位ms。 |
end_time | Integer | ⽂本对应tts语⾳结束时间戳，单位ms。 |
phoneme | String | 不支持打印该字对应的phone系列，默认输出为 |
begin_index | Integer | 该字在整句中的开始位置，从0开始。 |
end_index | Integer | 该字在整句中的结束位置，从0开始。 |
返回示例
{
"header": {
"message_id": "05450bf69c53413f8d88aed1ee60****",
"task_id": "640bc797bb684bd6960185651307****",
"namespace": "SpeechSynthesizer",
"name": "MetaInfo",
"status": 20000000,
"status_message": "GATEWAY|SUCCESS|Success."
},
"payload": {
"subtitles": [
{
"begin_index": 0,
"phoneme": "null",
"end_time": 180,
"end_index": 1,
"begin_time": 0,
"text": "你"
},
{
"begin_index": 1,
"phoneme": "null",
"end_time": 299,
"end_index": 2,
"begin_time": 180,
"text": "好"
}
]
}
}音素级别时间戳
参数设置
在客户端设置请求参数enable_subtitle为true，enable_phoneme_timestamp为true，开启音素级别时间戳功能。
移动端暂不支持音素级别时间戳。
以Java SDK为例，其设置⽅式如下：
// 是否开启字幕功能（返回对应文本的相应时间戳），默认不开启。
synthesizer.addCustomedParam("enable_subtitle", true);
synthesizer.addCustomedParam("enable_phoneme_timestamp", true);服务端响应
服务端返回的带字幕信息的响应MetaInfo事件。
参数 | 类型 | 说明 |
subtitles | List | 时间戳信息。 |
其中，SubtitleItem格式如下表所示：
参数 | 类型 | 说明 |
text | String | ⽂本信息。 |
begin_time | Integer | ⽂本对应tts语⾳开始时间戳，单位ms。 |
end_time | Integer | ⽂本对应tts语⾳结束时间戳，单位ms。 |
phoneme | String | 打印该字对应的phone系列，默认输出为 |
begin_index | Integer | 该字在整句中的开始位置，从0开始。 |
end_index | Integer | 该字在整句中的结束位置，从0开始。 |
phoneme_list | List | 音素时间戳数组。 |
phoneme_list格式如下表所示：
参数 | 类型 | 说明 |
index | Integer | 音素字内序号，从0开始。 |
begin_time | Integer | 起始时间，单位为毫秒。 |
end_time | Integer | 结束时间，单位为毫秒。 |
phoneme | String | 音素名，详情请参见音素与拼音，国际音标间关系。 |
tone | Integer | 音调。英文中0/1/2分表代表轻音，重音，次重音。拼音中1/2/3/4/5分别代表一声，二声，三声，四声，轻声。 |
subtitles示例
//今天
{
"subtitles":[
{"begin_index":0,"begin_time":0,"end_index":1,"end_time":100,
"phoneme_list":[
{"index":0, "begin_time":0, "end_time": 20, "phoneme":"hh", "tone":0},
{"index":1, "begin_time":20, "end_time": 40, "phoneme":"ah", "tone":0},
{"index":1, "begin_time":40, "end_time": 60, "phoneme":"l", "tone":1},
{"index":1, "begin_time":60, "end_time": 100, "phoneme":"ow", "tone":1}
],
"text":"hello", "phoneme":"hh ah l ow"},
{"begin_index":1,"begin_time":100,"end_index":2,"end_time":200,
"phoneme_list":[
{"index":0, "begin_time":100, "end_time": 150, "phoneme":"j_c", "tone":1},
{"index":1, "begin_time":150, "end_time": 200, "phoneme":"in_c", "tone":1}
],
"text":"今", "phoneme":"j_c in_c"},
{"begin_index":1,"begin_time":200,"end_index":2,"end_time":400,
"phoneme_list":[
{"index":0, "begin_time":200, "end_time": 300, "phoneme":"t_c", "tone":1},
{"index":1, "begin_time":300, "end_time": 400, "phoneme":"ian_c", "tone":1}
],"text":"天", "phoneme":"t_c ian_c"}
]
}音素与拼音、国际音标间关系
对于拼音，以<拼音>_c的方式给出音素，比如天的拼音是t和ian，给出的音素为t_c和ian_c。
对于英文，详情请参见下表，其中如果音素形式为<音素><数字>，数字为0/1/2的话，意思是音素和tone的组合。例如，对于ah这个音素，ah1代表ah重音的情况，ah0代表ah轻音的情况。
英文音素与国际音标（IPA）映射关系表
美式英文
序号
美式英文音素
国际音标（IPA）
1
aa
ɑ
2
ae
æ
3
ah1
ʌ
4
ah2
ə
5
ah0
ə
6
ao
ɔ
7
aw
aʊ
8
ay
aɪ
9
b
b
10
ch
tʃ
11
d
d
12
dh
ð
13
eh
ɛ
14
er
ɝ
15
ey
eɪ
16
f
f
17
g
g
18
hh
h
19
ih
ɪ
20
iy
i
21
jh
dʒ
22
k
k
23
l
l
24
m
m
25
n
n
26
ng
ŋ
27
ow
oʊ
28
oy
ɔɪ
29
p
p
30
r
ɹ
31
s
s
32
sh
ʃ
33
t
t
34
th
θ
35
uh
ʊ
36
uw
u
37
v
v
38
w
w
39
y
j
40
z
z
41
zh
ʒ
英式英文
序号
英式英文音素
国际音标（IPA）
1
@
ə
2
@@
ɜː
3
a
æ
4
aa
ɑː
5
e
ɛ
6
i
ɪ
7
ii
iː
8
o
ɒ
9
oo
ɔː
10
u
ʊ
11
uh
ʌ
12
uu
uː
13
ai
aɪ
14
au
aʊ
15
e@
ɛə
16
ei
eɪ
17
i@
ɪə
18
oi
ɔɪ
19
ou
əʊ
20
u@
ʊə
21
p
p
22
b
b
23
t
t
24
d
d
25
k
k
26
g
g
27
ch
tʃ
28
jh
dʒ
29
s
s
30
z
z
31
v
v
32
f
f
33
sh
ʃ
34
th
θ
35
dh
ð
36
zh
ʒ
37
h
h
38
r
ɹ
39
l
l
40
m
m
41
n
n
42
ng
ŋ
43
y
j
44
w
w
字级别时间戳代码示例
示例中使用SDK内置的默认语音合成服务的外网访问服务URL，如果您使用位于阿里云上海地域的ECS，且需要通过内网访问服务URL，则在创建NlsClient对象时，设置内网访问的URL：
client = new NlsClient("ws://nls-gateway.cn-shanghai-internal.aliyuncs.com/ws/v1", accessToken);示例中将合成的音频保存在文件中，如果您需要播放音频且对实时性要求较高，建议使用流式播放，即边接收语音数据边播放，减少延时。
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.util.List;
import java.util.Map;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.nls.client.protocol.NlsClient;
import com.alibaba.nls.client.protocol.OutputFormatEnum;
import com.alibaba.nls.client.protocol.SampleRateEnum;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizer;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizerListener;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizerResponse;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* 此示例演示了：
* 语音合成API调用。
* 动态获取token。
* 流式合成TTS。
* 首包延迟计算。
* 字级别时间戳返回。
*/
public class SpeechSynthesizerDemo {
private static final Logger logger = LoggerFactory.getLogger(SpeechSynthesizerDemo.class);
private static long startTime;
private String appKey;
NlsClient client;
public SpeechSynthesizerDemo(String appKey, String token) {
this.appKey = appKey;
//应用全局创建一个NlsClient实例，默认服务地址为阿里云线上服务地址。
try {
client = new NlsClient(token);
} catch (IOException e) {
e.printStackTrace();
}
}
public SpeechSynthesizerDemo(String appKey, String token, String url) {
this.appKey = appKey;
try {
if(url.isEmpty()) {
client = new NlsClient(token);
}else {
client = new NlsClient(url, token);
}
} catch (IOException e) {
e.printStackTrace();
}
}
private static SpeechSynthesizerListener getSynthesizerListener() {
SpeechSynthesizerListener listener = null;
try {
listener = new SpeechSynthesizerListener() {
File f=new File("tts_test.wav");
FileOutputStream fout = new FileOutputStream(f);
private boolean firstRecvBinary = true;
//语音合成结束
@Override
public void onComplete(SpeechSynthesizerResponse response) {
//调用onComplete时表示所有TTS数据已接收完成，因此为整个合成数据的延迟。该延迟可能较大，不一定满足实时场景。
System.out.println("name: " + response.getName() +
", task_id: " + response.getTaskId() +
", status: " + response.getStatus()+
", output file :"+f.getAbsolutePath()
);
}
//语音合成的语音二进制数据
@Override
public void onMessage(ByteBuffer message) {
try {
if(firstRecvBinary) {
//计算首包语音流的延迟，收到第一包语音流时，即可以进行语音播放，以提升响应速度（特别是实时交互场景下）。
firstRecvBinary = false;
long now = System.currentTimeMillis();
logger.info("tts first latency : " + (now - SpeechSynthesizerDemo.startTime) + " ms");
}
byte[] bytesArray = new byte[message.remaining()];
message.get(bytesArray, 0, bytesArray.length);
fout.write(bytesArray);
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void onMetaInfo(SpeechSynthesizerResponse response) {
// 调用onMetaInfo时表示返回字级别时间戳
System.out.println("name: " + response.getName() + ", task_id: " + response.getTaskId());
JSONArray subtitles = (JSONArray)response.getObject("subtitles");
List<Map> subtitleList = subtitles.toJavaList(Map.class);
for (Map word : subtitleList) {
System.out.println("current subtitle: " + word);
}
}
@Override
public void onFail(SpeechSynthesizerResponse response){
//task_id是调用方和服务端通信的唯一标识，当遇到问题时需要提供task_id以便排查。
System.out.println(
"task_id: " + response.getTaskId() +
//状态码 20000000 表示识别成功
", status: " + response.getStatus() +
//错误信息
", status_text: " + response.getStatusText());
}
};
} catch (Exception e) {
e.printStackTrace();
}
return listener;
}
public void process() {
SpeechSynthesizer synthesizer = null;
try {
//创建实例，建立连接。
synthesizer = new SpeechSynthesizer(client, getSynthesizerListener());
synthesizer.setAppKey(appKey);
//设置返回音频的编码格式
synthesizer.setFormat(OutputFormatEnum.WAV);
//设置返回音频的采样率
synthesizer.setSampleRate(SampleRateEnum.SAMPLE_RATE_16K);
//发音人
synthesizer.setVoice("siyue");
//语调，范围是-500~500，可选，默认是0。
synthesizer.setPitchRate(100);
//语速，范围是-500~500，默认是0。
synthesizer.setSpeechRate(100);
//设置用于语音合成的文本
synthesizer.setText("欢迎使用阿里巴巴智能语音合成服务，您可以说北京明天天气怎么样啊");
// 是否开启字幕功能（返回相应文本的时间戳），默认不开启，需要注意并非所有发音人都支持该参数。
synthesizer.addCustomedParam("enable_subtitle", true);
//此方法将以上参数设置序列化为JSON格式发送给服务端，并等待服务端确认。
long start = System.currentTimeMillis();
synthesizer.start();
logger.info("tts start latency " + (System.currentTimeMillis() - start) + " ms");
SpeechSynthesizerDemo.startTime = System.currentTimeMillis();
//等待语音合成结束
synthesizer.waitForComplete();
logger.info("tts stop latency " + (System.currentTimeMillis() - start) + " ms");
} catch (Exception e) {
e.printStackTrace();
} finally {
//关闭连接
if (null != synthesizer) {
synthesizer.close();
}
}
}
public void shutdown() {
client.shutdown();
}
public static void main(String[] args) throws Exception {
String appKey = "您的Appkey";
String token = "您的Token";
String url = ""; //默认值：wss://nls-gateway.cn-shanghai.aliyuncs.com/ws/v1
if (args.length == 2) {
appKey = args[0];
token = args[1];
} else if (args.length == 3) {
appKey = args[0];
token = args[1];
url = args[3];
} else {
System.err.println("run error, need params(url is optional): " + "<app-key> <Token> [url]");
System.exit(-1);
}
SpeechSynthesizerDemo demo = new SpeechSynthesizerDemo(appKey, token, url);
demo.process();
demo.shutdown();
}
}