2D数字人离线合成操作手册

一、登录

登录磐曦智创平台:https://imarketing.console.aliyun.com/

选择2D数字人>视频生成进入

image

二、视频制作

制作视频前需准备以下素材

1.脚本(支持文本和音频)

2.主播(支持公模或定制化私模)

3.声音(支持公模声音或定制化私模声音)

4.字幕(一键开关)

5.背景素材(提供选择)

6.贴纸素材(非必填,提供选择)

7.视频素材(非必填)

8.水印(非必填,提供选择)

9.PPT/PDF导入(非必填,提供选择)

2.1新建视频

支持9:16竖屏、16:9横屏

image

2.2主播形象

选择最终视频生成的主播形象,支持公模或私模的选择,以及静态数字人、动态实景数字人的选择,在中间可预览所选主播,拖拽移动或者右侧可进行位置调整。

image

2.3脚本编辑

2.3.1文本驱动

image

  • 支持输入文本:10字<x<1500字

  • 支持智能写稿:通过AI生成文案

image

AI写稿支持引用自定义知识库,知识库作为一个结构化的数据存储系统,能够为AI模型提供丰富、准确的学习材料。通过学习知识库中的数据,AI模型能够不断提升其理解、推理和决策的能力,从而在实际应用中更加高效和精准。

1.用户在工具能力增强-知识库中创建多种不同知识库类型。

image

2.在数字人编辑器-AI脚本生成时可以引用上面创建的知识库,用户可根据自身需求勾选需要的单个或同时多个知识库,也可一键全选,如果未选择知识库,则默认基于阿里云大模型算法智能生成文案。

image

2.3.2音频驱动

拖拽音频或点击上传文件

格式:mp3、wav

时长:<30min

image

2.3.3管理变音

1、点击脚本底部“管理变音”或顶部“菜单栏工具能力增强-数字人工具能力”均可进入变音管理界面。

image

2、在变音管理界面中添加变音,支持音标替换、拼音替换、文本替换三种类型,可对添加的变音进行编辑、删除操作,此处注意:若删除对应的变音,脚本内已引用的变音会同步失效。

image

3、脚本中也支持直接拼音替换、文本替换、划词连读、停顿(0.5s、1s、2s、3s、4s、5s、6s、7s、8s、9s、10s)、试听等功能。

image

  • 拼音变音

如脚本中有多音字需要变音,鼠标选中该字符,上部点击拼音替换,输入原字符和需要替换的拼音,拼音格式为:拼音及数字1-5;1-4为声部一到四声,5为轻声,例如:藏 zang4,此处原字符最多支持10种拼音变音。

此处注意:若删除对应的拼音读法,脚本内已引用的变音会同步失效。

image

添加完替换的拼音以后,即可在脚本原文中选中该字符替换拼音读音。

image

  • 文本变音

如脚本中有多音字需要变音,鼠标选中该字符,上部点击文本替换,输入原字符和变音后的读法文本,此处一个原字符最多支持10种变音,支持删除、编辑修改。

此处注意:若删除对应的文本读法,脚本内已引用的变音会同步失效。

image

添加完替换的文本以后,即可在脚本原文中选中该字符替换文本读音。

image

  • 音标变音

支持参考底部学术音标表添加音标变音,添加完音标后,在脚本中选中某单词选择音标替换。

此处注意:若删除对应的音标读法,脚本内已引用的变音会同步失效。

image

2.4主播声音

  • 选择主播声音:支持定制声音、公共声音,右上角小耳机图标可以试听声音,模特性别与声音不匹配的不支持选择

image

  • 调整声音语速:支持0.8倍、0.9倍、1倍、1.1倍、1.2倍、1.3倍、1.4倍、1.5倍、2倍

image

2.5背景

  • 推荐背景中支持选择已有的背景素材

  • 我的背景中支持本地上传素材,支持jpg、png格式,不超过10MB

点击左侧背景选择即可添加成功,在中间预览窗口点击背景按键盘delete键可删除背景图层。

image

  • 透明背景

背景栏右上角“透明背景”开关,打开透明背景对所有画面生效,动态实景数字人不支持使用透明背景。

需要注意:透明视频开启后不支持选择背景,如此前已选好了背景,开启时保留,但页面上变为透明样式,不支持前置素材,包括图片视频贴纸、水印、文字;以及调整数字人大小位置;默认生成.webm格式的视频;

关闭后原选择的背景还能继续使用,关闭透明背景,默认生成.mp4文件;

image

2.6素材

素材是指美化视频的贴片,支持图片和视频素材的本地上传,调整位置及大小。

  • 图片素材:支持jpg、png格式,大小不超过10MB

  • 视频素材:支持mp4格式,大小不超过1GB

上传后点击素材即可添加成功,在中间预览窗口点击素材,按住键盘delete键删除,右侧拖动图层进行图层上移、下移,复制、删除、可将素材应用到所有画布。

image

视频素材支持预览视频、音量调节,默认0%,即素材静音,0-100%比例是指视频素材音量相对于TTS播报音频的相对大小,100%是和TTS音量一致。

image

2.7字幕

点击底部“字幕”按钮可打开或关闭字幕,目前文本脚本支持字幕,音频脚本暂时不支持字幕,将在后续上线。

拖动字幕框或右侧可调整字幕位置、大小,默认位置在中间底部展示。

也可以选择合适的字号、字体、颜色、文字背景、对齐方式。

image

2.8贴纸水印

点击左侧菜单栏“贴纸”可选择平台提供的贴纸、水印素材。

点击中间预览窗口中的水印图层可移动位置、大小,右侧拖动图层进行图层上移、下移,复制、删除、可将素材应用到所有画布。

image

选择水印点击小铅笔图标可对水印进行编辑,修改后保存在“我的贴纸”中,后续可直接在此使用编辑后的水印贴纸。

自定义水印支持修改:

  • 编辑文字内容

  • 文字、背景图层旋转

  • 背景图层的宽度、长度设置

  • 文字颜色、字号、字体,背景颜色

  • 文字、背景的透明度调整

image

2.9文字

选择“文字”可以应用系统推荐的花字样式,支持编辑文字内容、字体、字号、颜色、对齐方式

image

2.10文件导入

底部支持“文件导入”,可导入PDF格式的文件,大小不超过1GB,将PDF的图片样式一键导入到画布中;

如果文件中有视频需要一并提取导入,可以同时上传对应的pptx文件,提取的视频素材会还原到原画面中,pptx中的备注也会一一还原到对应画面中。

image

2.11增加片段

底部支持添加多个片段,点击片段框右上角三个点支持复制、删除该片段。

image

2.12模板

  • 推荐模板:平台将提供一些推荐的行业或特定场景的模板供选择

image

  • 我的模板:也可将已经编辑好的循环重复利用率高的片段创建为“模板”,后续即可在“我的模板”中一键复用

image

三、视频生成

1、点击右上角“保存”,支持预览视频效果,“开始生成”即可生成视频。

image

image

2、页面自动跳转至创意管理中心>2D数字人视频管理列表,耐心等待几分钟生成视频,完成生成会产生相应的资源消耗。

如中途不需要生成视频了,当视频合成状态为资源校验中、排队中时,可直接点击停止生成中断视频生成。

当状态为生成中时,由于视频已经在排队生成中了,此时停止生成可能仍然会产生资源消耗,但是可以释放生成通道,加速其他视频生成。

image

3、创意管理中心中也可查看其他已生成的视频,点击视频查看生成效果。

创意管理中心可支持下载视频、复制为草稿、复制分享链接、视频重命名、删除视频等操作。

image

四、资源管理

右上角账号-资源管理中,可查看账号的剩余权益、消耗历史、购买历史。

image

image

image

五、权限管理

主账号设置管理员和普通用户身份,并给对应账号配置数据权限

可对普通用户授权可用的私模形象和声音,并查看每个普通用户当前已授权的可用形象和声音数量。

image

管理员权限中,可设置管理员账号下产生的数据是否对其他账号可见可使用,项目、数字人协议、素材/贴纸/背景、画面模板、知识库、智能体是否与所有子账号共享,子账号相互之间产生的数据是独立隔离的。

image

若有收获,就点个赞吧