AUI Kits低代码应用方案为AI实时互动场景提供了两种集成方式,您可以根据业务需求选择您需要的集成方案,快速搭建AI实时互动应用。
场景概述
AI实时互动是一种旨在帮助企业快速构建AI与用户之间的音视频通话应用的解决方案。用户只需通过白屏化的界面操作,即可在10分钟内构建一个专属的AI智能体,并通过视频云通讯网络与终端用户进行实时交互。该方案适用于网络客服、AI助理、AI伴侣、撮合助手、虚拟老师等多种应用场景,使用户能够在短时间内快速构建AI实时互动能力。
应用能力
在AI实时互动功能中,AI智能体被定义为云端高拟真用户,用于实现与用户的音视频交互。为了满足不同的交互需求,您需要为智能体配置相应的工作流。阿里云为您提供了三种工作流类型,以满足您的业务需求。
语音通话 用户通过语音与智能助手交流对话,获取即时的信息反馈和服务。 | 数字人通话 通过视频方式与数字人对话,为用户提供更加真实的互动体验。 | 视觉理解通话 通过视频方式与智能体互动,智能体将结合用户的语音和摄像头画面来提供反馈。 |
以创建语音通话工作流模板为例: 您只需要配置以下3个节点,就能完成语音通话工作流的创建。 |
您可以前往Demo体验,以全面了解上述能力。
应用场景
知识问答
知识问答系统可以作为在线客服和智能助手,为用户提供快速且准确的答案与解决方案。通过对大量问题及答案的学习和理解,系统能够根据用户提出的问题进行有效回答,从而提升用户体验和服务质量。
产品优势
全球高可用、低延迟:依托阿里云的实时音视频网络体系,全球3200+节点覆盖和QoS优化,使得用户可以在全球的任何位置与AI智能体流畅的完成音视频通话。
易接入、易调试:您可以将AI组件(如语音转文字、大模型、语音合成、自研向量数据库等)以插件的形式整合到工作流中,从而迅速开展业务,并在此过程中便捷地对整体技术方案进行调试。
高度拟人化:阿里云通过持续迭代和优化智能降噪、智能打断、智能断句等功能,使智能体在互动行为上更接近于人类。
易集成:阿里云为您提供四种集成方式来帮助您搭建AI实时互动系统,以满足不同场景和需求下的应用构建。具体详情,请参考集成方案概览。
实现原理
用户通过终端SDK发起与云端AI智能体的实时音视频通话;
AI智能体接收到用户的音视频输入后,开始运转工作流,并输出AI的响应结果;
AI智能体将响应结果的音视频流推送到ARTC网络,用户可以订阅该音视频流进行播放,从而完成用户与AI智能体的对话。
功能说明
功能 | 说明 |
实时通话(ARTC) | 阿里云实时音视频方案,依托改方案用户可以与AI智能体进行全球范围的高可靠、低延时通话。 |
实时工作流 | 您可以使用白屏化的方式,灵活地编排智能体AI的工作流。
|
欢迎词 | 您可以在控制台中配置欢迎词内容,当用户与AI智能体开始对话时,智能体将播报该欢迎词内容。 |
智能降噪 | AI智能体将自动过滤对话过程中用户侧产生的嘈杂音。当用户侧有多个人同时说话时,将优先采集音量最大的人声。 |
智能打断 | 在与AI智能体对话时,AI智能体能够有效识别用户在对话中的打断意图。 |
智能断句 | 智能体能够自动识别并分割长句或复杂句,以提升文本的可读性和用户体验。 |
数据归档 | 将用户与AI智能体的对话转化为文本信息并进行存储,企业可通过API接口调用以消费这部分数据。同时,企业可以将用户与AI智能体通话的音视频数据存储至对象存储服务(OSS)或视频点播(VOD)平台。 |