产品概述

什么是虚拟数字人

虚拟数字人是基于达摩院在语音、图像、3D美术、自然语言处理等领域的技术优势,以AI驱动实时渲染为核心能力,构造的多模态交互数字人。我们提供「数字人开放平台」,其中包含以实时交互为目标的「数字人流媒体」产品、以效率化内容生产为目标的「数字人视频合成」产品,同时我们提供以直播带货为核心能力的「品牌智能直播间」产品。

数字人开放平台

3D数字人流媒体:提供实时驱动3D数字人进行文本播报的产品能力。支持通过API向服务端发送文本,服务端接收到数据后处理成数字人的声音、表情、口型、动作,然后将对应数据通过流媒体技术合成视频流,输出到对应的流媒体渠道,如官方的阿里云RTC,或者客户指定的RTMP流媒体服务器,然后客户可以通过对应的流媒体渠道客户端SDK进行拉流展示到对应的显示端,如大屏、手机、web页面等。3D数字人流媒体产品支持播报数字人、互动数字人、推流数字人三种模板,分别适合用作数字人资讯播报、数字人客服助理、数字人虚拟直播等场景。其中互动数字人需要结合智能对话机器人一起使用。

3D/2D数字人视频合成:提供离线驱动3D/2D数字人进行文本播报生成对应视频的产品能力。支持通过API以及SaaS页面两种方式向服务端发送文本,服务端接收到数据后处理成数字人的声音、表情、口型、动作,然后将对应数据合成指定格式的视频,并提供对应的视频下载地址,客户可以从下载地址下载对应的数字人视频进行二次编辑和投放。

品牌智能直播间

淘宝天猫平台商家可以在淘宝直播平台上,通过“品牌智能直播间”所提供的虚拟数字人主播和虚拟人直播运营平台实现在其店铺直播间,让虚拟人电商主播像真人电商主播一样,进行商品介绍售卖以及和观众进行互动。直播间观众在观看直播的过程中会看到由虚拟数字人主导进行的直播内容,并可以与虚拟人主播进行对话和页面点击操作方式的互动。

产品公告