文档

语音合成时间戳功能介绍

更新时间:

语音实时合成服务在输出音频流的同时,可输出每个汉字/英文单词在音频中的时间位置,即时间戳,时间戳功能又叫字级别音素边界接口。该时间信息可用于驱动虚拟人口型、做视频配音字幕等。

重要
  • 只有支持字级别音素边界接口的发音人才有此功能。

  • 由于HTTP协议传输方式的限制,短文本语音合成RESTful API不支持返回时间戳信息。

  • TTS服务返回的字幕是基于发音的,所以不能直接用于上屏,需要使用您的原始文本。

  • 如果用于上屏,可以基于返回的结果,定位每个句子的句首和句尾时间戳。

参数设置

在客户端设置请求参数enable_subtitletrue,开启时间戳功能。

以Java SDK为例,其设置⽅式如下。

// 是否开启字幕功能(返回对应文本的相应时间戳),默认不开启。 
synthesizer.addCustomedParam("enable_subtitle", true);

服务端响应

服务端返回的带字幕信息的响应MetaInfo事件。

参数

类型

说明

subtitles

List

时间戳信息。

其中,SubtitleItem格式如下。

参数

类型

说明

text

String

⽂本信息。

begin_time

Integer

⽂本对应tts语⾳开始时间戳,单位ms。

end_time

Integer

⽂本对应tts语⾳结束时间戳,单位ms。

phoneme

String

不支持打印该字对应的phone系列,默认输出为null

begin_index

Integer

该字在整句中的开始位置,从0开始。

end_index

Integer

该字在整句中的结束位置,从0开始。

返回示例

{
    "header": {
        "message_id": "05450bf69c53413f8d88aed1ee60****",
        "task_id": "640bc797bb684bd6960185651307****",
        "namespace": "SpeechSynthesizer",
        "name": "MetaInfo",
        "status": 20000000,
        "status_message": "GATEWAY|SUCCESS|Success."
    },
    "payload": {
        "subtitles": [
            {
                "begin_index": 0,
                "phoneme": "null",
                "end_time": 180,
                "end_index": 1,
                "begin_time": 0,
                "text": "你"
            },
            {
                "begin_index": 1,
                "phoneme": "null",
                "end_time": 299,
                "end_index": 2,
                "begin_time": 180,
                "text": "好"
            }
        ]
    }
}

音素级别时间戳

参数设置

在客户端设置请求参数enable_subtitletrueenable_phoneme_timestamptrue,开启音素级别时间戳功能。 

说明

移动端暂不支持音素级别时间戳。

以Java SDK为例,其设置⽅式如下:

// 是否开启字幕功能(返回对应文本的相应时间戳),默认不开启。 
synthesizer.addCustomedParam("enable_subtitle", true);
synthesizer.addCustomedParam("enable_phoneme_timestamp", true);

服务端响应

服务端返回的带字幕信息的响应MetaInfo事件。

参数

类型

说明

subtitles

List

时间戳信息。

其中,SubtitleItem格式如下表所示:

参数

类型

说明

text

String

⽂本信息。

begin_time

Integer

⽂本对应tts语⾳开始时间戳,单位ms。

end_time

Integer

⽂本对应tts语⾳结束时间戳,单位ms。

phoneme

String

打印该字对应的phone系列,默认输出为null

begin_index

Integer

该字在整句中的开始位置,从0开始。

end_index

Integer

该字在整句中的结束位置,从0开始。

phoneme_list

List

音素时间戳数组。

phoneme_list格式如下表所示:

参数

类型

说明

index

Integer

音素字内序号,从0开始。

begin_time

Integer

起始时间,单位为毫秒。

end_time

Integer

结束时间,单位为毫秒。

phoneme

String

音素名,详情请参见音素与拼音,国际音标间关系

tone

Integer

音调。英文中0/1/2分表代表轻音,重音,次重音。拼音中1/2/3/4/5分别代表一声,二声,三声,四声,轻声。

subtitles示例

//今天
{
  "subtitles":[
  {"begin_index":0,"begin_time":0,"end_index":1,"end_time":100,
    "phoneme_list":[
      {"index":0, "begin_time":0, "end_time": 20, "phoneme":"hh", "tone":0},
      {"index":1, "begin_time":20, "end_time": 40, "phoneme":"ah", "tone":0},
      {"index":1, "begin_time":40, "end_time": 60, "phoneme":"l", "tone":1},
      {"index":1, "begin_time":60, "end_time": 100, "phoneme":"ow", "tone":1}
    ],
    "text":"hello", "phoneme":"hh ah l ow"},
  {"begin_index":1,"begin_time":100,"end_index":2,"end_time":200,
    "phoneme_list":[
      {"index":0, "begin_time":100, "end_time": 150, "phoneme":"j_c", "tone":1},
      {"index":1, "begin_time":150, "end_time": 200, "phoneme":"in_c", "tone":1}
    ],
    "text":"今", "phoneme":"j_c in_c"},
  {"begin_index":1,"begin_time":200,"end_index":2,"end_time":400,
    "phoneme_list":[
      {"index":0, "begin_time":200, "end_time": 300, "phoneme":"t_c", "tone":1},
      {"index":1, "begin_time":300, "end_time": 400, "phoneme":"ian_c", "tone":1}
    ],"text":"天", "phoneme":"t_c ian_c"}
  ]
}

音素与拼音、国际音标间关系

对于拼音,以<拼音>_c的方式给出音素,比如天的拼音是t和ian,给出的音素为t_c和ian_c。

对于英文,详情请参见下表,其中如果音素形式为<音素><数字>,数字为0/1/2的话,意思是音素和tone的组合。例如,对于ah这个音素,ah1代表ah重音的情况,ah0代表ah轻音的情况。

英文音素与国际音标(IPA)映射关系表

  • 美式英文

    序号

    美式英文音素

    国际音标(IPA)

    1

    aa

    ɑ

    2

    ae

    æ

    3

    ah1

    ʌ

    4

    ah2

    ə

    5

    ah0

    ə

    6

    ao

    ɔ

    7

    aw

    8

    ay

    9

    b

    b

    10

    ch

    11

    d

    d

    12

    dh

    ð

    13

    eh

    ɛ

    14

    er

    ɝ

    15

    ey

    16

    f

    f

    17

    g

    g

    18

    hh

    h

    19

    ih

    ɪ

    20

    iy

    i

    21

    jh

    22

    k

    k

    23

    l

    l

    24

    m

    m

    25

    n

    n

    26

    ng

    ŋ

    27

    ow

    28

    oy

    ɔɪ

    29

    p

    p

    30

    r

    ɹ

    31

    s

    s

    32

    sh

    ʃ

    33

    t

    t

    34

    th

    θ

    35

    uh

    ʊ

    36

    uw

    u

    37

    v

    v

    38

    w

    w

    39

    y

    j

    40

    z

    z

    41

    zh

    ʒ

  • 英式英文

    序号

    英式英文音素

    国际音标(IPA)

    1

    @

    ə

    2

    @@

    ɜː

    3

    a

    æ

    4

    aa

    ɑː

    5

    e

    ɛ

    6

    i

    ɪ

    7

    ii

    8

    o

    ɒ

    9

    oo

    ɔː

    10

    u

    ʊ

    11

    uh

    ʌ

    12

    uu

    13

    ai

    14

    au

    15

    e@

    ɛə

    16

    ei

    17

    i@

    ɪə

    18

    oi

    ɔɪ

    19

    ou

    əʊ

    20

    u@

    ʊə

    21

    p

    p

    22

    b

    b

    23

    t

    t

    24

    d

    d

    25

    k

    k

    26

    g

    g

    27

    ch

    28

    jh

    29

    s

    s

    30

    z

    z

    31

    v

    v

    32

    f

    f

    33

    sh

    ʃ

    34

    th

    θ

    35

    dh

    ð

    36

    zh

    ʒ

    37

    h

    h

    38

    r

    ɹ

    39

    l

    l

    40

    m

    m

    41

    n

    n

    42

    ng

    ŋ

    43

    y

    j

    44

    w

    w

字级别时间戳代码示例

说明
  • 示例中使用SDK内置的默认语音合成服务的外网访问服务URL,如果您使用位于阿里云上海地域的ECS,且需要通过内网访问服务URL,则在创建NlsClient对象时,设置内网访问的URL:

    client = new NlsClient("ws://nls-gateway.cn-shanghai-internal.aliyuncs.com/ws/v1", accessToken);
  • 示例中将合成的音频保存在文件中,如果您需要播放音频且对实时性要求较高,建议使用流式播放,即边接收语音数据边播放,减少延时。

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.util.List;
import java.util.Map;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.nls.client.protocol.NlsClient;
import com.alibaba.nls.client.protocol.OutputFormatEnum;
import com.alibaba.nls.client.protocol.SampleRateEnum;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizer;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizerListener;
import com.alibaba.nls.client.protocol.tts.SpeechSynthesizerResponse;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
 * 此示例演示了:
 *      语音合成API调用。
 *      动态获取token。
 *      流式合成TTS。
 *      首包延迟计算。
 *      字级别时间戳返回。
 */
public class SpeechSynthesizerDemo {
    private static final Logger logger = LoggerFactory.getLogger(SpeechSynthesizerDemo.class);
    private static long startTime;
    private String appKey;
    NlsClient client;
    public SpeechSynthesizerDemo(String appKey, String token) {
        this.appKey = appKey;
        //应用全局创建一个NlsClient实例,默认服务地址为阿里云线上服务地址。
        try {
            client = new NlsClient(token);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public SpeechSynthesizerDemo(String appKey, String token, String url) {
        this.appKey = appKey;
        try {
            if(url.isEmpty()) {
                client = new NlsClient(token);
            }else {
                client = new NlsClient(url, token);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    private static SpeechSynthesizerListener getSynthesizerListener() {
        SpeechSynthesizerListener listener = null;
        try {
            listener = new SpeechSynthesizerListener() {
                File f=new File("tts_test.wav");
                FileOutputStream fout = new FileOutputStream(f);
                private boolean firstRecvBinary = true;
                //语音合成结束
                @Override
                public void onComplete(SpeechSynthesizerResponse response) {
                    //调用onComplete时表示所有TTS数据已接收完成,因此为整个合成数据的延迟。该延迟可能较大,不一定满足实时场景。
                    System.out.println("name: " + response.getName() +
                                       ", task_id: " + response.getTaskId() +
                                       ", status: " + response.getStatus()+
                                       ", output file :"+f.getAbsolutePath()
                                      );
                }
                //语音合成的语音二进制数据
                @Override
                public void onMessage(ByteBuffer message) {
                    try {
                        if(firstRecvBinary) {
                            //计算首包语音流的延迟,收到第一包语音流时,即可以进行语音播放,以提升响应速度(特别是实时交互场景下)。
                            firstRecvBinary = false;
                            long now = System.currentTimeMillis();
                            logger.info("tts first latency : " + (now - SpeechSynthesizerDemo.startTime) + " ms");
                        }
                        byte[] bytesArray = new byte[message.remaining()];
                        message.get(bytesArray, 0, bytesArray.length);
                        fout.write(bytesArray);
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                @Override
                public void onMetaInfo(SpeechSynthesizerResponse response) {
                    // 调用onMetaInfo时表示返回字级别时间戳
                    System.out.println("name: " + response.getName() + ", task_id: " + response.getTaskId());
                    JSONArray subtitles = (JSONArray)response.getObject("subtitles");
                    List<Map> subtitleList = subtitles.toJavaList(Map.class);
                    for (Map word : subtitleList) {
                        System.out.println("current subtitle: " + word);
                    }
                }
                @Override
                public void onFail(SpeechSynthesizerResponse response){
                    //task_id是调用方和服务端通信的唯一标识,当遇到问题时需要提供task_id以便排查。
                    System.out.println(
                        "task_id: " + response.getTaskId() +
                        //状态码 20000000 表示识别成功
                        ", status: " + response.getStatus() +
                        //错误信息
                        ", status_text: " + response.getStatusText());
                }
            };
        } catch (Exception e) {
            e.printStackTrace();
        }
        return listener;
    }
    public void process() {
        SpeechSynthesizer synthesizer = null;
        try {
            //创建实例,建立连接。
            synthesizer = new SpeechSynthesizer(client, getSynthesizerListener());
            synthesizer.setAppKey(appKey);
            //设置返回音频的编码格式
            synthesizer.setFormat(OutputFormatEnum.WAV);
            //设置返回音频的采样率
            synthesizer.setSampleRate(SampleRateEnum.SAMPLE_RATE_16K);
            //发音人
            synthesizer.setVoice("siyue");
            //语调,范围是-500~500,可选,默认是0。
            synthesizer.setPitchRate(100);
            //语速,范围是-500~500,默认是0。
            synthesizer.setSpeechRate(100);
            //设置用于语音合成的文本
            synthesizer.setText("欢迎使用阿里巴巴智能语音合成服务,您可以说北京明天天气怎么样啊");
            // 是否开启字幕功能(返回相应文本的时间戳),默认不开启,需要注意并非所有发音人都支持该参数。
            synthesizer.addCustomedParam("enable_subtitle", true);
            //此方法将以上参数设置序列化为JSON格式发送给服务端,并等待服务端确认。
            long start = System.currentTimeMillis();
            synthesizer.start();
            logger.info("tts start latency " + (System.currentTimeMillis() - start) + " ms");
            SpeechSynthesizerDemo.startTime = System.currentTimeMillis();
            //等待语音合成结束
            synthesizer.waitForComplete();
            logger.info("tts stop latency " + (System.currentTimeMillis() - start) + " ms");
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            //关闭连接
            if (null != synthesizer) {
                synthesizer.close();
            }
        }
    }
    public void shutdown() {
        client.shutdown();
    }
    public static void main(String[] args) throws Exception {
        String appKey = "您的Appkey";
        String token = "您的Token";
        String url = ""; //默认值:wss://nls-gateway.cn-shanghai.aliyuncs.com/ws/v1
        if (args.length == 2) {
            appKey   = args[0];
            token    = args[1];
        } else if (args.length == 3) {
            appKey   = args[0];
            token    = args[1];
            url      = args[3];
        } else {
            System.err.println("run error, need params(url is optional): " + "<app-key> <Token> [url]");
            System.exit(-1);
        }
        SpeechSynthesizerDemo demo = new SpeechSynthesizerDemo(appKey, token, url);
        demo.process();
        demo.shutdown();
    }
}