首页 智能媒体服务 实践教程 常见场景 智能时间线 - 集成数字人

智能时间线 - 集成数字人

更新时间: 2023-08-10 17:02:19

本文档介绍了将数字人集成到时间线 Timeline 中的 3 种方法：（1）通过文字内容生成数字人视频、（2）音频媒资标识 MediaId 生成数字人视频、（3）通过音频文件地址 MediaURL 生成数字人视频。

一、背景

通过本文所介绍的方法，您可以轻松地将数字人功能集成到剪辑时间线 Timeline 当中，以此便捷地生成带数字人的视频成片。

按照您的具体场景与使用习惯，您可以任意采用以下 3 种方式来在剪辑时间线 Timeline 配置数字人相关的内容：

  1. 文字内容 Content；

  2. 音频媒资标识 MediaId；

  3. 音频文件地址 MediaURL。

在本文的后续内容中将对这三种方式分别进行介绍。

二、详细介绍

2.1 通过文字内容 Content 生成数字人成片

通过仅仅输入一段文字内容，就可以轻松生成一个以这篇文字作为内容的数字人口播视频，其具体用法与 AI_TTS 文字转语音类似。更进一步地，您可以通过指定不同的声音类型、语调和语速，来生成不同语音风格的数字人视频成片。

2.1.1 时间线 Timeline 示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为文字",
            "Type": "AI_Avatar",
            "AvatarId": "yunchen",
            "Content": "近日，随着消费升级和物流技术的发展，仓储式购物逐渐受到消费者的欢迎。据了解，这种购物方式是指将商品储存在仓库中，顾客通过线上平台选择商品后，到物流中心自行提取商品。避免了传统购物的排队、拥堵等问题，同时也提高了商品的物流效率和安全性。目前，不少电商企业已经开始尝试仓储式购物，成为未来新零售的重要趋势之一。",
            "Voice": "zhitian",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

  1. 设置了 2 条视频轨，其中第 1 条中设置了一个全局图片作为背景图，第 2 条视频轨中包含了一段由文字内容驱动生成的数字人视频；

  2. 在第 2 条视频轨的数字人 Clip 中，指定云晨作为数字人形象，知甜作为智能生成的声音类型，其文本内容设置在 Content 字段中。

  3. 同时，在数字人 Clip 中设置 AI_ASR 效果，自动生成对应字幕。

2.1.2 成片效果

2.2 通过音频媒资标识 MediaId 生成数字人成片

您可以通过在时间线 Timeline 传入一段原文件为具有口播内容的音频文件的 MediaId（这个 MediaId 通过 IMS 媒资上传或注册接口取得），来驱动生成对应的数字人视频成片。

2.2.1 时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "eb2dd180********92ee7e7d75b6301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaId",
            "Type": "AI_Avatar",
            "AvatarId": "yunxin",
            "MediaId": "596cbd10e********b6e6f7e5696302",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

  1. 设置了 2 条视频轨，其中第 1 条中设置了一个全局图片作为背景图，第 2 条视频轨中包含了一段由音频媒资标识 MediaId 驱动生成的数字人视频；

  2. 在第 2 条视频轨的数字人 Clip 中，指定云新作为数字人形象；

  3. 同时，在数字人 Clip 中设置 AI_ASR 效果，自动生成对应字幕。

2.2.2 成片效果

2.3 通过音频文件地址 MediaURL 生成数字人成片

与通过上一节中「音频媒资标识 MediaId」驱动类似，您也可以直接在 Timeline 中传入音频文件位于您的 OSS bucket 地址中的 URL 地址。依据这段 OSS URL 地址，就可以生成一段对应的数字人视频成片，从而为您免去注册媒资这一步骤。

2.3.1 时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaURL",
            "Type": "AI_Avatar",
            "AvatarId": "yunxin",
            "MediaURL": "https://your_bucket.oss-cn-shanghai.aliyuncs.com/your_audio.mp3",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

  1. 设置了 2 条视频轨，其中第 1 条中设置了一个全局图片作为背景图，第 2 条视频轨中包含了一段由音频 OSS 地址 MediaURL 驱动生成的数字人视频；

  2. 在第 2 条视频轨的数字人 Clip 中，指定云新作为数字人形象；

  3. 同时，在数字人 Clip 中设置 AI_ASR 效果，自动生成对应字幕。

2.3.2 成片效果

因本示例中所用到的音频文件与上一小节中 MediaId 对应的原文件为同一文件，所以本节成片效果与第 2.2 节：“通过音频媒资标识 MediaId 生成数字人成片”的效果相同。

三、其它成片案例

3.1 科普场景

3.2 新闻播报场景

阿里云首页 智能媒体服务 相关技术圈