含UI集成方案

功能

说明

实时通话（ARTC）

阿里云实时音视频方案，依托该方案用户可以与AI智能体进行全球范围的高可靠、低延时通话。

实时工作流

您可以使用白屏化的方式，灵活地编排智能体AI的工作流。

• 语音转文字：

  • 预置阿里云通义产品能力。

  • 支持将讯飞的语音转文字能力作为第三方插件进行集成。

• 语音合成（文字转语音）：

  • 预置阿里云通义的产品能力。

  • 采用标准协议与您自主研发的语音合成模块进行对接。

  • 支持将MiniMax的语音能力作为第三方插件进行集成。

• 文生文大语言模型：

  • 预置阿里云通义的产品能力。

  • 选择阿里云百炼平台上模型中心、应用中心的AI模型。

  • 按照OpenAI规范或阿里规范来接入自研的大语言模型。

• 数字人

  • 支持将相芯数字人能力作为第三方插件进行集成。

• 视频抽帧

• 多模态语言大模型

  • 预置阿里云通义产品能力。

  • 按照OpenAI规范来接入自研的多模态大语言模型。

自定义智能体形象

您可以为所创建的智能体上传一张图片，以便在语音通话场景中展示该智能体的形象。

智能体情绪识别

智能体能够识别用户当前的情绪，并做出带有情感色彩的回应。

欢迎词

您可以在控制台中配置欢迎词内容，当用户与AI智能体开始对话时，智能体将播报该欢迎词内容。

主动播报

业务服务器可以通过OpenAPI的形式，让智能体主动向用户输出音视频内容。

实时字幕

用户与智能体之间的对话内容可在终端用户界面上实时呈现。

智能降噪

AI智能体将自动过滤对话过程中用户侧产生的嘈杂音。当用户侧有多个人同时说话时，将优先采集音量最大的人声。

智能打断

在与AI智能体对话时，AI智能体能够有效识别用户在对话中的打断意图。

智能断句

智能体能够自动识别并分割长句或复杂句，以提升文本的可读性和用户体验。

对讲机模式

用户可以在启动或者通话中设置通话模式为对讲机模式，通过按下按钮与智能体进行交互。

ASR热词

您可以定义业务相关的热词，以此提升AI智能体在语音识别中的准确率。

声纹降噪

在多人交谈的场景中，智能体通过识别主讲人的声纹特征，更加精确地捕捉和保留主讲人的语音，同时降低对无关噪音的干扰。

真人接管

在用户与智能体进行交互时，如遇无法处理的情况或需做出关键决策时，可以选择由真人进行接管以做出决策。

优雅下线

当业务服务器需要停止智能体时，允许智能体完成当前对话的表达后再进行停止操作，以避免对话被生硬地打断。

数据归档

将用户与AI智能体的对话转化为文本信息并进行存储，企业可通过API接口调用以消费这部分数据。同时，企业可以将用户与AI智能体通话的音视频数据存储至对象存储服务（OSS）或视频点播（VOD）平台。