方案介绍

本文将介绍如何基于ARTC SDK实现AI实时互动的解决方案。

方案介绍

方案基于ARTC SDK搭建RTC网络,通过调用AI实时互动接口实现实时互动能力,该方案为您提供了高效且灵活的集成路径。您能够根据自身需求选择合适的API接口进行功能定制,从而实现智能对话、情感分析、撮合助手、数字人直播等多样化的人工智能互动体验。此外,该方案还支持对现有功能的二次开发和扩展,帮助您更好地适应不断变化的应用场景,提高用户体验。

方案架构

用户与AI智能体基于ARTC通话系统如下图所示:

image

集成智能体

前提条件

  1. 完成智能体创建,详细请参见:AI实时互动快速入门

  2. App需要集成ARTC SDK,具体集成方式参考快速开始实时音视频

开启与关闭通话

开启与AI智能体的通话流程如下:

  1. 用户通过应用程序向AppServer发起请求开始通话并且获取RTC Token。

  2. AppServer接收到请求后,调用StartAIAgentInstance - 启动智能体实例接口启动智能体,并且按照Token鉴权规则生成RTC Token。

  3. AppServer将调用结果以及RTC Token返回给用户。

  4. 用户使用ARTC SDK通过RTC Token加入对应RTC频道,开启与智能体的通话。

关闭与AI智能体的通话流程如下:

  1. 用户请求AppServer关闭通话流程,AppServer调用StopAIAgentInstance - 停止智能体实例接口停止AI智能体。

  2. 用户使用ARTC SDK退出频道结束会话。

image

客户端开发帮助

客户端示例代码,请参考Android端源码iOS端源码

服务端开发帮助

服务端示例代码,请参考Server源码

功能特性

  • 智能体状态:为您提供AI智能体状态的实时信息。

  • 实时字幕:AI智能体和用户的对话信息将会被实时转换成文字,并由客户端进行展示。

  • 打断功能AI智能体智能识别用户的对话打断意图。

  • 对讲机模式:AI智能体与用于的对话模式可以设置为对讲机模式,用户的每一次输入与智能体的每一次响应均被视为独立事件。