实时语音识别API详情

Paraformer语音识别

Paraformer语音识别提供的实时转写API，能够对长时间的语音数据流进行识别，并将结果流式返回给调用者，适用于会议演讲、视频直播等长时间不间断识别的场景。

常见的视频直播场景一般采用16kHz及以上的采样率进行声音采集，用户可选择paraformer-realtime-v1模型进行中英文语音识别。在电话客服场景一般采用8kHz进行声音采集，用户应选择paraformer-realtime-8k-v1模型进行语音识别以获得更佳的效果。

Paraformer实时语音识别返回较为丰富的结果供调用者选择使用，包括中间文字结果、句子级文字、词和时间戳等。模型默认进行标点符号预测和逆文本正则化。

模型概览

API参考

目前实时语音识别支持Python和Java两种SDK版本，本文档主要以Python接口和参数为主进行讲解。

请求参数

以下代码片段展示了如何创建一个使用paraformer-realtime-v1模型，使用16k采样率，PCM音频格式的实时识别请求参数：

recognition = Recognition(model='paraformer-realtime-v1',
                          format='pcm',
                          sample_rate=16000,
                          callback=callback)

    RecognitionParam param =
        RecognitionParam.builder()
            .model("paraformer-v1")
            .format("pcm")
            .sampleRate(16000)
            .apiKey("your-dashscope-api-key")
            .build();

• 参数说明

流式调用

提交单个语音实时转写任务，通过实现回调接口或者工作流的方式流式输出实时识别结果。

通过回调方式的流式调用

以下代码片段展示了创建Recognition示例并使用上文创建的参数来调用基于回调方式的流式实时识别。

class Callback(RecognitionCallback):
    def on_complete(self) -> None:
        # 识别完成

    def on_error(self, result: RecognitionResult) -> None:
        # 错误处理

    def on_event(self, result: RecognitionResult) -> None:
        # 处理识别结果
 
callback = Callback()
recognition = Recognition(model='paraformer-realtime-v1',
                          format='pcm',
                          sample_rate=16000,
                          callback=callback)
recognition.start()

class RecognitionCallback extends ResultCallback<RecognitionResult> {

  @Override
  public void onEvent(RecognitionResult message) {
    // 处理识别结果
  }

  @Override
  public void onComplete() {
    // 识别完成
  }

  @Override
  public void onError(Exception e) {
    // 错误处理
  }
}

Recognition recognition = new Recognition();
recognition.call(param, new RecognitionCallback());

该方法签名如下：

• 回调函数

以Python SDK为例，其他SDK命名方式可能不同

• 返回结果说明

RecognitionResult代表一次实时识别的结果，包含了时间戳和文本信息以及文本识别是否结束

Sentence类成员如下：

Word类成员如下：

• 发送音频数据

以下代码片段展示在一段循环中通过Recognition对象的send_audio_frame来发送二进制音频数据：

// buffer是一个Bytes类型对象，用户需要处理如何从音频源中流式生成Bytes对象
recognition.send_audio_frame(buffer)

// buffer是一个ByteBuffer类型对象，用户需要处理如何从音频源中流式生成ByteBuffer对象
recognition.sendAudioFrame(buffer);

该方法签名如下：

• 结束实时识别

以下代码片段展示停止实时识别：

recognition.stop();

recognition.stop();

该方法签名如下：

基于Java Flowable的流式调用

为了方便Java开发者尽可能的简化开发过程，实时语音识别支持Java Flowable调用。以下代码片段展示使用Flowable的流式实时识别调用。该代码片段中，param为上文创建的RecognitionParam对象，streamByteBuffer为一个Flowable<ByteBuffer>类型的对象，该streamCall调用返回一个Flowable<RecognitionResult>。关于Flowable的使用，可以参考http://reactivex.io/RxJava/2.x/javadoc/

recognition
    .streamCall(param, streamByteBuffer)
    .subscribe(
        result -> {
          // result为RecognitionResult对象
        },
        error -> {
          // 错误处理
        },
        () -> {
          // 识别结束处理
        });

该方法签名如下：

• 返回结果说明

该接口主要通过返回的Flowable<RecognitionResult>来获取流式结果，关于RecognitionResult的说明可以参考前文

同步调用

提交单个语音实时转写任务，通过传入本地文件的方式同步阻塞的拿到转写结果。

以下代码片段展示了使用本地音频文件“asr_example.wav"来调用同步接口：

result = recognition.call('asr_example.wav')

String result = recognizer.call(param, new File("asr_example.pcm"));

该方法签名如下：

• 返回结果说明

返回一个Dict类型，该Dict字符串格式如下：

其中List<Sentence>中每一个Sentence都是一个Sentence样式的Dict对象，对于Sentence以及Sentence下的Word对象，可以参考上文本中关于Sentence类型和Word类型的说明。以下给出一个返回示例，该例子中sentences参数下仅有一个Sentence：

{
	'begin_time': 280,
	'end_time': 4000,
	'text': 'hello word, 这里是阿里巴巴语音实验室。',
	'words': [{
		'begin_time': 280,
		'end_time': 776,
		'text': 'hello ',
		'punctuation': ''
	}, {
		'begin_time': 776,
		'end_time': 1024,
		'text': 'word',
		'punctuation': ', '
	}, {
		'begin_time': 1024,
		'end_time': 1520,
		'text': '这里',
		'punctuation': ''
	}, {
		'begin_time': 1520,
		'end_time': 1768,
		'text': '是',
		'punctuation': ''
	}, {
		'begin_time': 1768,
		'end_time': 2760,
		'text': '阿里巴巴',
		'punctuation': ''
	}, {
		'begin_time': 2760,
		'end_time': 3256,
		'text': '语音',
		'punctuation': ''
	}, {
		'begin_time': 3256,
		'end_time': 4000,
		'text': '实验室',
		'punctuation': '。'
	}]
}