智能时间线 - 集成数字人

背景信息

通过本文所介绍的方法，您可以轻松地将数字人功能集成到剪辑时间线Timeline当中，以此便捷地生成带数字人的视频成片。

您可以根据自己的具体场景与使用习惯，选择以下3种方法中的任意一种，来在剪辑时间线Timeline上配置数字人相关的内容：

1. 文字内容 Content；

2. 音频媒资标识 MediaId；

3. 音频文件地址 MediaURL。

通过文字内容 Content生成数字人成片

仅需输入一段文字内容，就可以轻松生成一个以这篇文字作为内容的数字人口播视频，其具体用法与 AI_TTS 文字转语音类似。更进一步地，您可以通过指定不同的声音类型、语调和语速，来生成不同语音风格的数字人视频成片。

时间线Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为文字",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "Content": "近日，随着消费升级和物流技术的发展，仓储式购物逐渐受到消费者的欢迎。据了解，这种购物方式是指将商品储存在仓库中，顾客通过线上平台选择商品后，到物流中心自行提取商品。避免了传统购物的排队、拥堵等问题，同时也提高了商品的物流效率和安全性。目前，不少电商企业已经开始尝试仓储式购物，成为未来新零售的重要趋势之一。",
            "Voice": "zhitian",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

1. 设置了2条视频轨，其中第1条中设置了一个全局图片作为背景图，第2条视频轨中包含了一段由文字内容驱动生成的数字人视频；

2. 在第2条视频轨的数字人Clip中，指定“云晨”作为数字人形象，“知甜”作为智能生成的声音类型，其文本内容在Content字段中配置。

3. 同时，在数字人Clip中设置AI_ASR效果，自动生成对应字幕。

成片效果

通过音频媒资标识 MediaId生成数字人成片

您可以通过在时间线 Timeline中传入一段原文件为包含口播内容的音频文件的MediaId（该MediaId通过IMS媒资上传或注册接口取得），来驱动生成对应的数字人视频成片。

时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "eb2dd180********92ee7e7d75b6301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaId",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaId": "596cbd10e********b6e6f7e5696302",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

1. 设置了2条视频轨，其中第1条中设置了一个全局图片作为背景图，第2条视频轨中包含了一段由音频媒资标识 MediaId驱动生成的数字人视频；

2. 在第2条视频轨的数字人Clip中，指定“云新”作为数字人形象；

3. 同时，在数字人Clip中设置AI_ASR效果，自动生成对应字幕。

成片效果

通过音频文件地址 MediaURL生成数字人成片

与通过音频媒资标识 MediaId驱动类似，您也可以直接在Timeline中传入位于您的OSS bucket地址中音频文件的URL地址。依据这段OSS URL地址，就可以生成一段对应的数字人视频成片，省去了媒资注册的步骤。

时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaURL",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaURL": "https://your_bucket.oss-cn-shanghai.aliyuncs.com/your_audio.mp3",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

在上面这个简单的时间线示例中：

1. 设置了2条视频轨，其中第1条中设置了一个全局图片作为背景图，第2条视频轨中包含了一段由音频 OSS地址MediaURL驱动生成的数字人视频；

2. 在第2条视频轨的数字人Clip中，指定“云新”作为数字人形象；

3. 同时，在数字人Clip中设置AI_ASR效果，自动生成对应字幕。

成片效果

因本示例中所用到的音频文件与上一小节中MediaId对应的原文件为同一文件，所以本节成片效果与“通过音频媒资标识 MediaId生成数字人成片”的效果相同。

其它成片案例

科普场景

新闻播报场景

相关文档

• 数字人概述

• 创建数字人视频合成任务