2D数字人实时对话

2D数字人实时对话服务,为端到端的数字人对话服务,已整合ASR、TTS、LLM、数字人驱动能力。本文档为构建一个基于2D数字人形象的实时对话项目以及通过SDK调用该对话项目的操作指南。

服务体验和购买

为了使用通义灵眸2D数字人实时对话能力并在终端集成对应数字人对话项目,请先于数字人实时交互服务购买完成对应的服务购买。

说明

通义灵眸平台为每一个阿里云客户提供了7天数字人对话免费体验权益

在免费体验期内,客户可在灵眸控制台创建 10 个2D数字人实时对话项目,并支持在控制台内实时对话。SDK调用需在购买并发后调用。image

1 服务入口

进入灵眸控制台对话互动页面,在该页面可以体验与官方对话数字人项目发起对话

image

image

或点击立即创建新建自己的对话数字人项目。

image

image

2 创建对话数字人项目

2.1 选择数字人形象

首先选择用于的数字人,左侧导航栏点击“形象”,可在此选择数字人形象;提供“2D公共形象”和“我创建的”形象选择。

image

2.2 选择数字人声音

左侧导航栏点击“声音”,可以试听并选择平台提供的公共音色,或者点击“我创建的”选择您已在声音库中创建成功的音色或自定义音色。

image

image

2.3 背景选择

点击左侧导航栏“背景”,可选择平台内置的背景或者纯色背景;同时可上传自定义背景,上传时请注意背景图大小要求。

image

2.4 人设编辑

点击左侧导航栏“人设”,行数字人的人物设定配置,将结合大语言模型进行语义理解和回复文本生成。目前平台支持接入通义千问(系统预置)、阿里云百炼平台及自研大模型。

  • 预置模型:预置模型为通义千问系列模型,支持广域知识秒级回复问答;同时平台已为您预置典型场景模板支持一站式配置和体验。

image

  • 百炼应用:阿里云百炼是一站式的大模型开发及应用构建平台,当您有复杂的agent类需求,比如有预期检索的私有知识库等,您可以选择对接阿里云百炼应用中心,灵眸将基于您填入的百炼应用ID,访问您于百炼平台创建的Agent获取数字人的输出。image

    • 百炼应用ID,于阿里云百炼平台创建完成智能体应用后,获取。

    • image

    • API-KEY,单击发布,进入智能体应用界面,单击右上角API-KEY,获取。

    • image

  • 自研模型:您可以按照 OpenAI 规范接入您自研的大模型

如果您选择按照OpenAI规范接入,您需要填入以下参数:

参数

类型

描述

示例值

System Prompt

String

OpenAI标准prompt字段,表示系统提示词

回复请遵从人设,尽量简洁

模型ID

String

OpenAI标准model字段,表示模型名称

plll

API-KEY

String

OpenAI标准api_key字段,表示API鉴权信息

QZRK-7gFvXs2pLmN8dGjH5bTsWq3cVfY9nMjK

BaseUrl

String

OpenAI标准base_url字段,表示目标服务请求地址

http://www.abc.com

Api

String

OpenAI标准对话补全API请求路径,控制台模型填充了“/v1/chat/completions”, 可以按实际情况修改。实际访问时,灵眸后端服务会把BaseUrlApi拼接成一个完整的请求地址,并且用https协议来请求。

/v1/chat/completions

说明

灵眸控制台仅支持以流式的方式请求大语言模型服务。

3 进行数字人对话体验

编辑完成后,可以点击“通话”按钮于pc端控制台内进行对话体验

image

您可以通过页面右上角历史消息按钮查看与数字人的历史对话往来,以优化人设达到更满意的对话效果

image

4 发布数字人对话项目

确认效果符合预期后,点击右上角“发布配置”即可完成对话数字人项目的创建

image

5 SDK调用说明

若您需要将已创建成功2D数字人对话项目集成至您的终端使用,我们提供SDK的接入方式,支持在您的终端驱动并渲染数字人。

说明

调用SDK时,您需要提前准备以下两个参数

image

操作视频教程