智能体通过运营商线路直接向用户手机号发起电话呼出,或者用户主动拨打智能体进行呼入。可应用于电话营销、电话通知、电话客服等场景。
当前功能正处于邀测阶段,为了规避违规呼出风险给终端用户带来不便,请您在申请“语音号码”之前,将以下信息提交工单,阿里云将告知您是否具备使用该功能的资质:
阿里云账号UID
业务场景
号码用途
月呼叫量
月通话分钟数
准备工作
开通AI实时互动
为了使用阿里云AI实时互动服务,您需要满足以下条件:
请先确保已开通 AI 实时互动功能。若尚未开通,请前往开通服务,已开通用户可直接使用。
说明若出现“您当前购买数量超过还可购买的数量余量,请重新选择数量!”,表明服务已经开通。
开通语音服务
AI实时互动提供阿里体验账号,每个账号每天可进行20通电话呼出。
智能体呼出仅支持专属模式,其中手机号码最大并发数为3,固话号码最大并发数为15。您可以按需准备专属号码,详情请参见语音服务新手指引。
开通语音服务并完成企业资质申请:
准备呼出专属号码:
准备呼入专属号码(可选):
您需要提交工单,联系我们绑定呼入坐席号码。
步骤一:创建工作流和智能体
前往工作流管理工作台,点击创建工作流模板,选择语音通话类型的工作流,并配置工作流节点。
STT 语音转文字
该节点负责将语音输入转换成可读的文字格式,支持多语种识别。
LLM 大语言模型
基于STT转换得到的文字输入,LLM可以使用大型预训练语言模型来理解和生成自然语言文本。
目前AI实时互动支持您接入通义千问(系统预置)、阿里百炼平台、阿里通义星尘以及自研接入(OpenAI规范)。
阿里百炼平台
阿里云的大模型服务平台阿里百炼是一站式的大模型开发及应用构建平台。选择对接阿里百炼平台提供的语言模型和服务时,您可以选择对接阿里百炼模型中心或应用中心。
模型中心:您可以阿里百炼模型广场选择适合您的模型,单击查看详情获取ModelId。通过单击API KEY获取API-KEY。
应用中心:需要先在阿里百炼大模型服务平台创建智能体应用,完成后,获取AppId。
单击调用,进入智能体应用界面,单击右上角API KEY,获取API-KEY。
说明如何接入阿里百炼大模型,请参见阿里云百炼✖AI实时互动最佳实践。
阿里通义星尘
阿里通义星尘产品提供定制深度个性化智能体的能力,能够快速创造一个拥有自己独特的人设、风格的智能体,结合数字人语音实时交互能力,可以在指定的不同的场景中进行丰富的互动。
ModelId:目前阿里通义星尘有
xingchen-lite
、xingchen-base
、xingchen-plus
、xingchen-plus-v2
、xingchen-max
五种模型供您选择。API-KEY:请前往星尘控制台创建API KEY并获取。
自研接入(OpenAI规范)
AI实时互动也支持接入您自研的大模型,您可以按照OpenAI规范接入您的大模型。
OpenAI规范:如果您选择按照OpenAI规范接入,您需要填入以下参数:
名称
描述
示例值
ModelId
OpenAI标准model字段,表示模型名称
abc
API-KEY
OpenAI标准api_key字段,表示API鉴权信息
AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
目标模型HTTPS地址
OpenAI标准base_url字段,表示目标服务请求地址
http://www.abc.com
更多自研LLM接入详情,请参见LLM标准接口。
TTS 文字转语音
该节点负责将处理后的文本转换回语音格式,以便用户听到系统的响应。
您可以选择适合您应用场景的文字转语音模型,包括:系统预置模板、自研模板、三方插件或百炼。
系统预置模板:选择预置模板时,您需要配置语音音色,各类型智能语音效果示例请参见智能语音效果示例。
自研模板:您可以通过规范协议将您的自研大模型加入到工作流当中。详情请参见TTS标准接口。
三方插件:当前仅支持选择MiniMax语音模型,目前有多个版本供您选择,推荐您使用最新版本。具体详情,请参见MiniMax语音模型。
百炼:如果您的业务需要应用自定义音色场景,建议您接入阿里百炼应用平台。接入详情,请参见声音复刻。
在TTS节点,您也可以对LLM输入的内容进行过滤。
数字人
该节点负责生成与处理后的文本和音频相对应的动作、表情和口型同步的数字人视频流。
当前支持在数字人节点中对接数字人插件、对接阿里百炼平台以及对接阿里灵境数字人:
对接数字人插件:
相芯:您需要咨询相芯科技客服,开通相芯科技3D数字人服务,获取AppId、AppKey以及AvatarId。
对接阿里百炼平台:对接阿里百炼平台数字人,需要您提前获取ModelId、AppKey以及AvatarId。详细内容,请参见数字人集成。
对接阿里灵境数字人:对接阿里灵境数字人,您需要通过提交工单进行开通使用。
说明如需集成星尘数字人或阿里百炼数字人,相关流程涉及加白操作,详细信息烦请进群了解咨询。
视频抽帧
该节点负责从视频中抽取单帧或多帧的图片。
视频内容理解
该节点负责识别视频内容中,是否存在特定行为。
MLLM多模态大模型
基于前置节点对数据的处理,MLLM可以对输入的图片与文字进行理解,生成自然语言文本。您也可以通过选择不同类型的模型来控制模型的输入。
目前AI实时互动支持您接入通义千问(系统预置)、阿里百炼平台、阿里通义星尘以及自研大模型。
阿里百炼平台
阿里云的大模型服务平台阿里百炼是一站式的大模型开发及应用构建平台。选择对接阿里百炼平台提供的语言模型和服务时,您可以选择对接阿里百炼模型中心或应用中心。
模型中心:您可以阿里百炼模型广场选择适合您的模型,单击查看详情获取ModelId。通过单击API-KEY获取API-KEY。
应用中心:需要先在阿里百炼大模型服务平台创建智能体应用,完成后,获取AppId。
重要在创建智能体应用时,您需要选择多模态大模型
qwen-vl-max
或qwen-vl-plus
,否则无法发布视频类型智能体。单击调用,进入智能体应用界面,单击右上角API KEY,获取API-KEY。
说明如何接入阿里百炼大模型,请参见阿里云百炼✖AI实时互动最佳实践。
通义星尘
通义星尘产品提供定制深度个性化智能体的能力,能够快速创造一个拥有自己独特的人设、风格的智能体,结合数字人语音实时交互能力,可以在指定的不同的场景中进行丰富的互动。
ModelId:目前通义星尘有
xingchen-lite
、xingchen-base
、xingchen-plus
、xingchen-plus-v2
、xingchen-max
五种模型供您选择。API-KEY:请前往星尘控制台创建API KEY并获取。
自研模型
AI实时互动也支持接入您自研的大模型,您可以按照OpenAI规范接入您的大模型。
OpenAI规范:如果您选择按照OpenAI规范接入,您需要填入以下参数:
名称
类型
必填
描述
示例值
ModelId
String
是
OpenAI标准model字段,表示模型名称
abc
API-KEY
String
是
OpenAI标准api_key字段,表示API鉴权信息
AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
目标模型HTTPS地址
String
是
OpenAI标准base_url字段,表示目标服务请求地址
http://www.abc.com
单次调用图片数上限
Integer
是
由于部分多模态大模型单次请求可接收图片帧数量有上限,您可以设置此参数来适配不同的大模型。在请求您的MLLM服务时,会自动按照该值对视频进行抽帧采样。
15
更多自研接入,请参考MLLM标准接口。
再来到智能体管理工作台,点击创建智能体,选择刚刚创建的语音通话类型的工作流,勾选电话呼出、电话呼入选项,完成智能体的创建。
步骤二:控制台体验呼出
在智能体管理工作台页面找到刚刚创建的智能体,点击体验电话呼出。
填入被叫号码体验智能体呼出功能:
阿里体验账号:您可以选择阿里体验账号进行呼出体验,单个账号每天限20通。
语音号码体验:如果您已经申请号语音号码,您可以直接填入主叫号码进行呼出体验。
步骤三:API接入生产
调用ListAIAgentPhoneNumber - 罗列用户电话资源接口,查询到当前账号下所有主叫号码。
调用StartAIAgentOutboundCall - 启动智能体外呼电话接口,发起智能体电话呼出。
计费示例
计费项 | 刊例价 | |
AI智能体平台服务费 | 32.8元/千分钟。 | |
语音转文字 | 58元/千分钟。 | |
文字转语音 | 7.2元/千分钟。 | |
语音通知 | 分钟数<=5万:110元/千分钟; 5万<分钟数<=10万:108元/千分钟; 10万<分钟数<=50万:104元/千分钟; 50万<分钟数<=100万:100元/千分钟。 | |
专属号码月租费 | 普通号码35元/月/个。 |
号码是稀缺资源,开通后3个月内不允许注销;3个月后,如果您不使用请及时注销,否则依然会产生月租费用。
例:用户在8月1日购买了1个普通号码,11月1日才能注销,产生了8月、9月、10月、11月四个月的月租费用,共140元。
示例:使用1个专属号码,1个月,1000分钟的AI实时互动电话呼出的费用:35(专属号码月租)+110(语音通知费用)+32.8(AI智能体平台服务)+58(语音转文字)+7.2(文字转语音)=243元。