API标准及多语言预置SDK
本产品(虚拟数字人开放平台/2022-01-30)的 OpenAPI 采用 RPC 签名机制,具体签名方式请参见签名机制说明。我们已为开发者封装了主流编程语言的 SDK,您可通过 下载 SDK 快速调用 API,无需关注签名等底层实现细节,显著降低开发门槛与集成复杂度。自定义签名场景
若您的业务场景有特殊需求,需通过自签名方式对接 API,建议优先咨询我们的技术支持团队(服务钉钉群:147535001692),获取专业指导以确保高效接入。
账号与安全准备
阿里云账号具备对所有资源的完全管理权限。一旦 AccessKey 泄露,所有相关资源都将面临未经授权访问的风险。为确保安全,建议创建一个仅具备 API 访问权限的 RAM 用户并配置其 AccessKey,同时基于最小权限原则 (PoLP) 配置 RAM 策略。仅在明确需要阿里云账号权限的特定场景下,才使用阿里云账号。
数字人实例
| API | 标题 | API概述 |
|---|---|---|
| StartInstance | 启动一个数字人 | 启动一路数字人视频流实例,通过传入指定的参数,可以启动一路数字人实例,该接口针对播报数字人、互动数字人等这类使用平台默认视频流渠道的数字人实例会返回阿里公有云RTC拉流需要的参数,使用者无需额外开通阿里公有云RTC产品服务,可直接通过阿里云RTC拉流SDK配合该接口返回的Channel参数进行拉流使用。关于阿里公有云RTC拉流SDK接入文档可参考数字人开放平台帮助中心《客户端SDK接入》文档。 |
| StopInstance | 停止一个数字人 | 关闭一路数字人实例,停止数字人推流。 |
| QueryRunningInstance | 查询运行中的数字人实例 | 查询运行中的数字人实例列表,该接口仅返回运行中的实例,已关闭的实例不会返回,最多返回100条,按照时间倒序排列;同时支持查询指定sessionId的实例的运行状态,传入sessionId参数,如果该实例在运行中则会返回,不在运行中或者对应实例不存在,则不会返回信息。 |
消息
| API | 标题 | API概述 |
|---|---|---|
| SendText | 发送普通文本消息 | 发送一个文本消息给到服务端,数字人播报对应的文本,并渲染视频流给到用户。 |
| SendVaml | 发送vaml文本消息 | 发送一个vaml文本消息给到服务端,数字人播报对应的文本,并渲染视频流给到用户。 |
| SendCommand | 发送指令消息 | 发送一个指令消息给到服务端,数字人执行对应的指令,并渲染视频流给到用户。目前指令仅支持打断指令。 |
| SendMessage | 发送文本消息 | 发送一段播报文本给到服务端,数字人会基于文本做TTS生成、表情动作驱动,并渲染视频流给到用户。(建议使用升级接口:SendText、SendVaml、SendCommand) |
数字人视频合成
| API | 标题 | API概述 |
|---|---|---|
| SubmitAudioTo3DAvatarVideoTask | 提交3D音频合成视频任务 | 提交根据一段wav音频文件生成3D数字人视频任务,该接口会立即返回一个TaskUuid作为本次提交任务的唯一id,后续可以根据TaskUuid调用查询和取消任务接口。 |
| SubmitTextTo3DAvatarVideoTask | 提交3D文本合成视频任务 | 提交根据一段文本离线生成3D数字人视频任务,该接口会立即返回一个TaskUuid作为本次提交任务的唯一id,后续可以根据TaskUuid调用查询和取消任务接口。 |
| SubmitTextTo2DAvatarVideoTask | 提交2D文本合成视频任务 | 提交根据一段文本离线生成2D数字人视频任务,该接口会立即返回一个TaskUuid作为本次提交任务的唯一id,后续可以根据TaskUuid调用查询和取消任务接口。 |
| SubmitAudioTo2DAvatarVideoTask | 提交2D音频合成视频任务 | 提交根据一段wav音频文件生成2D数字人视频任务,该接口会立即返回一个TaskUuid作为本次提交任务的唯一id,后续可以根据TaskUuid调用查询和取消任务接口。 |
| SubmitAvatarVideoTask | 提交合成视频任务 | |
| GetVideoTaskInfo | 查询视频合成任务详情 | 通过提交任务生成的TaskUuid,查询对应视频合成任务详情。同时支持3D数字人和2D数字人的视频合成任务详情查询。 |
| CancelVideoTask | 取消视频合成任务 | 通过提交任务生成的TaskUuid, 取消状态为”等待执行“的任务。 |
| QueryVideoTaskInfo | 查询视频合成任务列表 | 查询提交的视频合成任务列表,支持分页。支持根据数字人类型、状态、标题进行筛选。已过期和已取消任务不支持查询。 |
数字人形象管理
| API | 标题 | API概述 |
|---|---|---|
| ConfirmAvatar2dTrain | 确认2D自定义形象训练 | 提交2D自定义形象训练任务后,在人工审核通过后,会进入客户确认阶段,该接口用于客户进行确认,确认通过后,将会扣费进入人物训练阶段,拒绝将会人物创建失败流程结束。 ps:该功能默认是不开启的,默认提交人物审核通过后将会直接扣费进行训练,如要开通该功能,请和我们联系 |
| Create2dAvatar | 提交2D自定义形象创建任务 | 提交一段真人视频素材生成对应的2D真人数字人形象,该接口会立即返回一个形象code,后续可以根据形象code调用查询、更新、删除人物接口。 |
| Update2dAvatar | 更新2D自定义形象创建任务 | 更新2D自定义形象任务,任务创建中不允许修改 |
| QueryAvatarList | 查询数字人资产列表 | 查询当前账号下的数字人资产。 |
| QueryAvatar | 查询数字人资产详情 | 根据数字人code查询数字人资产详情。 |
| DeleteAvatar | 删除数字人资产 | 根据形象code删除数字人资产 |
端渲染
| API | 标题 | API概述 |
|---|---|---|
| ClientUnbindDevice | 设备解绑端渲染 | 使用客户端渲染SDK时,调用该接口进行设备的证书解绑 |
| Render3dAvatar | 端SDK拉取的人物渲染数据 | 使用客户端渲染SDK时,SDK调用该接口拉取人物的渲染数据 |
| ClientStart | 客户端SDK开始工作 | 端渲染SDK通过鉴权后,SDK调用该接口开始工作 |
| ClientAuth | 客户端SDK鉴权 | 使用客户端渲染SDK时,SDK调用该接口进行鉴权 |
控制台管理
| API | 标题 | API概述 |
|---|---|---|
| StartTimedResetOperate | 停复机操作开机接口 | 停复机操作开机接口,提供对指定的数字人停复机实例(来自虚拟数字人开放平台——实例管理页面)进行开机操作,功能等同于点击页面的开机按钮。 |
| CloseTimedResetOperate | 停复机操作关机接口 | 停复机操作关机接口,提供对指定的数字人停复机实例(来自虚拟数字人开放平台——实例管理页面)进行关机操作,功能等同于点击页面的关机按钮。 |
| QueryTimedResetOperateStatus | 停复机实例开关机状态查询接口 | 查询停复机操作状态接口,提供查询指定的数字人停复机实例(来自虚拟数字人开放平台——实例管理页面)的开关机状态。 |
其他
| API | 标题 | API概述 |
|---|---|---|
| DuplexDecision | 语音双工决策 | 语音双工决策接口API。 |
| LicenseAuth | 客户端license鉴权 | 使用端渲染sdk时,使用平台下发的license许可证调用该接口,换取端渲染sdk接入时需要的鉴权token |