通义听悟实时流

魔笔平台提供了强大的通义听悟实时流功能,让您能够轻松完成通义听悟实时推流的能力。本文档将指导您如何使用通义听悟实时流集成。

什么是通义听悟实时流

通义听悟实时流是一种实时语音识别服务,它能够将实时的语音输入转换为文本输出。这项功能特别适用于需要即时语音转写的场景,如实时会议记录、直播字幕等。

通义听悟实时流需要配合通义听悟集成操作来使用。具体而言,您需要先通过通义听悟集成操作创建实时任务并获取推流地址,然后才能开始使用实时流服务。

使用流程概述:

  1. 通过通义听悟集成的开始实时任务操作创建实时任务

  2. 获取集成中返回的推流地址

  3. 使用推流地址开始音频数据的实时传输

  4. 在完成语音业务时触发停止实时流操作

  5. 通过通义听悟集成的停止实时任务操作停止实时任务

功能介绍

魔笔平台的通义听悟实时流功能支持以下特点:

  • 实时转写:语音输入可以实时转换为文字,并在集成操作中配置了翻译功能的情况下支持实时翻译。

  • 集成操作联动:与其他魔笔平台功能无缝衔接,如可以将转写结果直接用于后续处理。

  • 回调和数据转换:支持在语音转写句子开始或语音转写句子识别完成时执行特定的集成操作事件,以及对返回的数据进行自定义处理。

事件相关内容可参考:集成操作事件

使用通义听悟集成流

步骤1: 触发通义听悟集成“开始实时任务”操作

请参考 开始实时任务

步骤2: 触发通义听悟集成“开始实时任务”操作

1、创建“听悟实时流”操作

image

2、获取步骤一中返回的 websocket 的推流地址

image

3、在“实时流”操作中填写上一步中的推流地址

image

4、点击开始录音,进行实时推流

image

步骤3: 通过麦克风进行语音交互

1、通过麦克风进行语音交互,观察结果面板或状态面板中实时流数据的返回结果:

imageimage

步骤4: 触发停止实时流

1、点击停止录音,停止推流image

步骤5: 触发通义听悟集成操作“停止实时任务”操作

请参考 停止实时任务

配置面板详解

基本配置

下面列出了几种操作的配置面板参数:

推流地址

定义通义听悟实时流的推流地址,需绑定创建通义听悟任务集成操作返回的 websocket 推流地址。

通用配置

  • 参数:定义了完成操作所需的参数,包括类型、默认值和描述。在输入框中,可通过{{ varName }}的方式引用参数。

  • 描述:为集成操作提供详细描述。

回调配置

  • 数据转换:对接口返回的数据进行处理,默认为return data,即不进行处理。

  • 回调事件:配置语音转录句子开始时或结束时触发的事件。

手动触发集成

事件触发

  1. 在需要触发集成操作的组件中,配置事件处理器。

  2. 将动作类型设置为“触发通义听悟实时流”或“停止通义听悟实时流”,并根据业务设置触发参数。

imageimage

API 触发

若此操作的名称为tongyi,则在任何可以执行脚本的地方,可以使用tongyi.start()tongyi.stop()方法触发集成操作。如果实时流操作配置了参数,则需要以对象形式填写已配置的参数。