开发指南

背景概述

随着AIGC的兴起，大型语言模型（LLM）的作用日益凸显。这些LLM作为AI智能体，尤其是那些能够结合内部知识库的模型，能够满足广泛的行业需求，如智能客服、个人助手等智能交互场景。此外，基于实时文本通讯的AI智能体越来越难以满足高效沟通的需求，因此出现了基于实时音视频通讯（RTC）的AI智能体，它们提供了更为丰富和直观的交互体验。

集成方案

针对音视频通话和消息对话场景。阿里云基于AICallKit SDK，分别提供了含UI和不含UI的两种实现方案：

• 含UI集成：在含UI集成方案中，阿里云提供了包含音视频应用UI组件。您只需要通过简单的配置就能运行Demo，并且可以将整个UI组件集成到您的项目中，从而快速实现AI实时互动能力。

• 不含UI集成：在不含UI集成方案中，您可以自定义UI界面，并且基于AICallKit SDK您不需要考虑AI实时互动底层实现，快速实现AI实时互动能力。

此外，阿里云也为您提供了基于ARTC SDK集成的方案进行参考，详细内容请参见基于ARTC SDK集成方案、RTC纯通道接入方案。

服务端功能

• 智能体高级配置：AI智能体支持设定问候语、音色、智能打断功能。

• 智能体通话记录：阿里云内置的语音识别技术，可以自动转录通话内容，从而便于您对通话记录进行审核、模型训练等操作。

• 智能体回调：智能体回调允许您的应用在特定事件发生时自动触发预设的操作或响应。

• 语音识别热词：如果您的业务中存在某些词汇识别效果不佳的情况，可以考虑使用热词功能，以提升识别效果。

• 数字人集成：集成数字人后，可将工作流中的语音输入转化为数字人，从而提供更加丰富且生动的交互体验。