接口说明

功能简介

NUI SDK提供更小的工具包和更完善的状态管理。为满足不同用户需求，NUI SDK既能提供全链路的语音能力，同时可做原子能力SDK进行使用，并保持接口的统一。

使用须知

• 输入格式：PCM编码、16bit采样位数、单声道（mono）。

• 音频采样率：8000Hz/16000Hz。

• 设置返回结果：是否返回中间识别结果、在后处理中添加标点、将中文数字转为阿拉伯数字输出。

• 设置多语言识别：在管控台编辑项目中进行模型选择，详情请参见模型选择。

服务地址

交互流程

1. 鉴权和初始化

客户端在与服务端建立WebSocket连接时，使用Token进行鉴权。关于Token获取请参见获取Token概述。

初始化参数如下。

2. 开始识别

客户端发起实时语音识别请求前需要进行参数设置，各参数由SDK中setParams接口以JSON格式设置，该参数设置一次即可。各参数含义如下。

参数nls_config配置如下。

3. 发送数据

客户端循环发送语音数据，持续接收识别结果：

• EVENT_SENTENCE_START事件表示服务端检测到了一句话的开始。实时语音识别服务的智能断句功能会判断出一句话的开始与结束，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "SentenceBegin",
          "status": 20000000,
          "message_id": "a426f3d4618447519c9d85d1a0d1****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 0
      }
  }

  header对象参数说明：

  参数	类型	说明
  namespace	String	消息所属的命名空间。
  name	String	消息名称。SentenceBegin表示一个句子的开始。
  status	Integer	状态码。表示请求是否成功，参见错误码。
  message_id	String	本次消息的ID，由SDK自动生成。
  task_id	String	任务全局唯一ID，请记录该值，便于排查问题。
  status_text	String	状态消息。

  payload对象参数说明：

  参数	类型	说明
  index	Integer	句子编号，从1开始递增。
  time	Integer	当前已处理的音频时长，单位：毫秒。

• 若enable_intermediate_result设置为true，SDK会持续多次通过onNuiEventCallback回调上报EVENT_ASR_PARTIAL_RESULT事件，即中间识别结果，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "TranscriptionResultChanged",
          "status": 20000000,
          "message_id": "dc21193fada84380a3b6137875ab****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 1835,
          "result": "北京的天",
          "confidence": 1.0,
          "words": [{
              "text": "北京",
              "startTime": 630,
              "endTime": 930
          }, {
              "text": "的",
              "startTime": 930,
              "endTime": 1110
          }, {
              "text": "天",
              "startTime": 1110,
              "endTime": 1140
          }]
      }
  }

  说明

  header对象中name参数取值为TranscriptionResultChanged表示句子的中间识别结果。其余参数说明参见上述表格。

  payload对象参数说明：

  参数	类型	说明
  index	Integer	句子编号，从1开始递增。
  time	Integer	当前已处理的音频时长，单位：毫秒。
  result	String	当前句子的识别结果。
  words	List< Word >	当前句子的词信息，需要将enable_words设置为true。
  confidence	Double	当前句子识别结果的置信度，取值范围0.0～1.0，值越大表示置信度越高。

• EVENT_SENTENCE_END事件表示服务端检测到了一句话的结束，并返回该句话的识别结果，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "SentenceEnd",
          "status": 20000000,
          "message_id": "c3a9ae4b231649d5ae05d4af36fd****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 1820,
          "begin_time": 0,
          "result": "北京的天气。",
          "confidence": 1.0,
          "words": [{
              "text": "北京",
              "startTime": 630,
              "endTime": 930
          }, {
              "text": "的",
              "startTime": 930,
              "endTime": 1110
          }, {
              "text": "天气",
              "startTime": 1110,
              "endTime": 1380
          }]
      }
  }

  说明

  header对象中name参数取值为SentenceEnd表示句子识别结束。其余参数说明参见上述表格。

  payload对象参数说明：

  参数	类型	说明
  index	Integer	句子编号，从1开始递增。
  time	Integer	当前已处理的音频时长，单位：毫秒。
  begin_time	Integer	当前句子对应的SentenceBegin事件的时间，单位：毫秒。
  result	String	当前句子的识别结果。
  words	List< Word >	当前句子的词信息，需要将enable_words设置为true。
  confidence	Double	当前句子识别结果的置信度，取值范围0.0～1.0，值越大表示置信度越高。

  其中，Word对象：

  参数	类型	说明
  text	String	文本。
  startTime	Integer	词开始时间，单位：毫秒。
  endTime	Integer	词结束时间，单位：毫秒。

4. 结束识别

客户端通知服务端语音数据发送完毕，服务端识别结束后通知客户端识别完毕。

错误码