本文介绍AI实时互动服务的功能发布记录，便于您快速查看最近升级能力。
2025年3月
功能分类 | 功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能分类 | 功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
消息对话 | 富消息输入和输出 | 增加消息对话内容丰富性，支持图片输入以及输出图片、超链接等。 | Native & Web | 2025-03-31 | |
音视频通话 | 体验优化 | 优化接通耗时到1秒内。 | Native & Web | 2025-03-31 | |
国际站 | 上线新加坡站点。 | Native | 2025-03-13 | ||
控制台 | 智能体回调 | 支持用户设置智能体逐句回调。 | 控制台 | 2025-03-31 | |
STT节点升级 | STT节点支持自研接入。 | 控制台 | 2025-03-31 | ||
TTS节点升级 |
| 控制台 | 2025-03-13 | ||
消息对话支持多模态大模型接入 | 支持在控制台接入多模态大模型。 | 控制台 | 2025-03-13 |
2025年2月
AICallKit SDK v2.1.0版本新发布，支持以下功能：
功能分类 | 功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能分类 | 功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
消息对话 | 消息对话智能体 | Web支持消息对话智能体。 | Web | 2025-02-28 | |
聊天记录优化 | 消息对话聊天记录联动音视频通话。 | Native | 2025-02-28 | ||
支持DeepSeek | 消息对话智能体支持DeepSeek及返回深度思考过程。 | Native | 2025-02-28 | ||
支持业务参数透传 | 支持业务参数透传至下一业务系统。 | Native | 2025-02-28 | ||
支持主动发送文本 | 支持主动发送文本或自定义消息到客户端。 | Native | 2025-02-28 | ||
音视频通话 | 支持特定词打断 | 支持通过设定特定词进行打断。 | Native & Web | 2025-02-28 | |
大模型提示词 | 支持实例级别的设定大模型提示词。 | Native & Web | 2025-02-28 | ||
质检模式 | 视觉理解通话支持选取特定时间和特定截帧数量。 | Native & Web | 2025-02-20 | ||
服务端消息回调 | 支持发送消息给客户注册的回调服务。 | Native & Web | 2025-02-20 | ||
控制台 | LLM支持 | 工作流LLM节点支持配置阿里通义星尘。 | 控制台 | 2025-02-20 |
2025年1月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
消息对话 | 新增消息对话通话类型，支持您以聊天框的形式与智能体进行对话。 | Native | 2025-01-23 | |
LLM输入内容传入 | 新增接口支持LLM输入内容传入。 | API | 2025-01-23 | |
TTS三方插件音色配置 | TTS三方插件（MiniMax）支持配置音色。 | 控制台 | 2025-01-23 | |
STT三方插件语种配置 | STT三方插件（讯飞）支持配置语种。 | 控制台 | 2025-01-23 | |
降噪优化 | 优化降噪会消除前几个词的问题。 | Native & Web | 2025-01-23 | |
智能体/工作流控制台页面优化 | 智能体/工作流界面默认展示所有Region下的信息。 | 控制台 | 2025-01-23 |
2024年12月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
情绪识别 | 智能体能够识别用户当前的情绪，并做出带有情感色彩的回应。 | Native & Web | 2024-12-31 | |
一键上报优化 | 优化Demo中一键上报位置不明显问题。 | Native & Web | 2024-12-31 | |
STT节点配置优化 | 支持STT节点配置语种、静默时间。 | 控制台 | 2024-12-31 | |
TTS节点配置优化 | 支持TTS节点默认音色的语速、音调和试听。 | 控制台 | 2024-12-31 | |
智能体创建优化 |
| 控制台 | 2024-12-31 |
2024年11月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
Web Demo | 支持移动端Web Demo体验。 | Web | 2024-11-15 | |
自定义智能体形象 | 您可以为所创建的智能体上传一张图片，以便在语音通话场景中展示该智能体的形象。 | 控制台 | 2024-11-15 | |
百炼平台对接 | 您可以百炼平台发布的AI实时互动应用。 | 控制台 | 2024-11-30 | |
真人接管 | 在用户与智能体进行交互时，如遇无法处理的情况或需作出关键决策时，可以选择由真人进行接管以作出决策。 | API | 2024-11-30 | |
音色复刻 | 您可以使用CosyVoice进行音色复刻。 | API | 2024-11-30 |
2024年10月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
视觉理解通话 | 通过视频方式与智能体进行直接交互，智能体通过分析视频内容进行识别与解释。 | Native & Web | 2024-10-31 | |
对讲机模式 | 用户可以在启动或者通话中设置通话模式为对讲机模式，通过按下按钮与智能体进行交互。 | Native & Web | 2024-10-31 | |
声纹降噪 | 在多人交谈的场景中，智能体通过识别主讲人的声纹特征，更加精确地捕捉和保留主讲人的语音，同时降低对无关噪音的干扰。 | Native | 2024-10-31 | |
STT/TTS对接百炼 | STT/TTS节点支持百炼大模型。 | 控制台 | 2024-10-31 | |
实时字幕优化 | 开启智能断句时，实时字幕显示问题优化。 | Native & Web | 2024-10-31 |
2024年9月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
数字人通话优化 | 数字人并发路数、形象、实时字幕问题优化。 | Native | 2024-09-15 | |
智能断句 | 智能体能够自动识别并分割长句或复杂句，以提升文本的可读性和用户体验。 | Native & Web | 2024-09-27 | |
短信验证 | Demo体验支持短信验证登录。 | Native & Web | 2024-09-27 | |
数字人通话 | WebDemo支持数字人通话。 | Native & Web | 2024-09-27 | |
用量统计 | 您可以在控制台查看AI实时互动服务的用量。 | 控制台 | 2024-09-27 | |
AICallKit SDK | 通过集成AICallKit SDK您可以快速开发AI实时互动能力。 | Native & Web | 2024-09-27 |
2024年8月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
TTS三方插件 | TTS工作流节点支持MiniMax第三方插件接入。 | 控制台 | 2024-08-16 | |
STT三方插件 | STT工作流节点支持讯飞第三方插件接入。 | 控制台 | 2024-08-16 | |
优雅下线 | 当需要停止智能体任务时，可以允许智能体任务在完成当前内容输出后再进行停止，以避免对话出现生硬的中断。 | Native & API | 2024-08-16 | |
服务端回调 | 将智能体的运行状态实时回调给客户。 | 控制台 | 2024-08-16 | |
Web Demo | AI实时互动上线Web Demo。 | Web | 2024-08-31 | |
数字人通话 | AI实时互动支持数字人通话类型。 | Native | 2024-08-31 | |
ASR热词 | 您可以定义业务相关的热词，以此提升AI智能体在语音识别中的准确率。 | 控制台 | 2024-08-31 | |
AICallKit SDK | 通过集成AICallKit SDK您可以快速开发AI实时互动能力。 | Native | 2024-08-31 | |
AppServer | 您可以参考AI实时互动服务端源码，将AI实时互动服务端实现集成到您的工程中。 | Native & Web | 2024-08-31 |
2024年7月
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
功能名称 | 功能描述 | 支持端 | 发布时间 | 相关文档 |
实时通话 | 依托阿里云实时音视频方案，用户可以与AI智能体进行全球范围内的高可靠、低延时通话。 | Native | 2024-07-31 | |
实时工作流 | 您可以使用白屏化的方式，灵活地编排智能体AI的工作流程。
| 控制台 | 2024-07-31 | |
智能打断 | AI智能体智能识别用户的对话打断意图。 | Native | 2024-07-31 | |
智能降噪 | AI智能体将自动过滤对话过程中用户侧产生的嘈杂音。当用户侧有多个人同时说话时，将优先采集音量最大的人声。 | Native | 2024-07-31 | |
AI智能体状态 | 提供AI智能体状态的实时信息：
| Native | 2024-07-31 | |
实时字幕 | AI智能体和用户的对话信息将会被实时转换成文字，并由客户端进行展示。 | Native | 2024-07-31 | |
欢迎词 | 您可以在用户与AI智能体开始对话时设置欢迎词。 | 控制台 & API | 2024-07-31 | |
数据归档 | 用户和AI智能体的通话信息可以被分段归档存储到对象存储OSS。 | API | 2024-07-31 |
- 本页导读 （1）
- 2025年3月
- 2025年2月
- 2025年1月
- 2024年12月
- 2024年11月
- 2024年10月
- 2024年9月
- 2024年8月
- 2024年7月
