不含UI集成方案

更新时间: 2024-12-20 15:30:17

本文将介绍集成AICallKit SDK来快速构建AI实时互动的解决方案。

方案介绍

AICallKit SDK是一款用于操作智能体的开发工具包,提供了一系列相关API,使开发者能够在其应用中轻松实现智能体与用户之间的对话。通过集成AICallKit SDK,绝大部分与智能体相关的功能无需开发者单独实现,从而显著减少开发时间,提高应用程序的质量,并为用户提供更为丰富和流畅的语音交互体验。各个端的集成,请参见以下内容:

服务端开发,请参见服务端集成API说明

业务流程

image

APP在启动AI智能体后,便可调用call()进入通话,在通话过程中,可以调用AICallKit的API实现智能体的实时字幕、打断等交互功能。AICallKit依赖于实时音视频能力,因此在内部已实现AliVCSDK_ARTC SDK的相关功能。如果您的业务场景还需要用到直播与点播能力,可以使用音视频终端组合SDK,例如AliVCSDK_StandardAliVCSDK_InteractiveLive,具体组合方式,请参考SDK选择与下载

说明

generateAIAgentaCall调用请参考创建客户智能体实例

方案优势

  • 只需集成AICallKit SDK,即可实现对智能体的一系列操作。

  • 开发者可以根据业务需求定制开发自己的APP Server。

  • AICallKit SDK集成支持Android端、iOS端以及Web端。

功能特性

  • 进入&结束AI智能体通话:包括语音智能体通话、数字人智能体通话和视觉理解通话。

  • 智能体状态:为您提供AI智能体状态的实时信息。

  • 实时字幕:AI智能体和用户的对话信息将会被实时转换成文字,并由客户端进行展示。

  • 打断功能:AI智能体智能识别用户的对话打断意图。

  • 智能体高级配置:AI智能体支持设定音色、智能打断功能。

  • 本地设备管理:包括通话过程中关闭扬声器、静音麦克风等功能。

上一篇: 含UI集成方案 下一篇: 安全合规
阿里云首页 视频直播 相关技术圈