时间线智能任务并行处理

本文详细说明了如何通过文字内容、音频媒资标识(MediaId)、音频文件地址(MediaURL)这三种不同方式,将数字人视频集成到时间线(Timeline)中。

使用说明

您可以通过如下文档,快速了解数字人:

背景信息

通过本文所介绍的方法,您可以轻松地将数字人功能集成到剪辑时间线Timeline当中,以此便捷地生成带数字人的视频成片。

您可以根据自己的具体场景与使用习惯,选择以下3种方法中的任意一种,来在剪辑时间线Timeline上配置数字人相关的内容:

  1. 文字内容 Content;

  2. 音频媒资标识 MediaId;

  3. 音频文件地址 MediaURL。

方式一:通过文字内容 Content生成数字人成片

仅需输入一段文字内容,就可以轻松生成一个以这篇文字作为内容的数字人口播视频,其具体用法与 AI_TTS 文字转语音类似。更进一步地,您可以通过指定不同的声音类型、语调和语速,来生成不同语音风格的数字人视频成片。

说明
  1. 设置了2条视频轨,其中第1条中设置了一个全局图片作为背景图,第2条视频轨中包含了一段由文字内容驱动生成的数字人视频;

  2. 在第2条视频轨的数字人Clip中,指定“云晨”作为数字人形象,“知甜”作为智能生成的声音类型,其文本内容在Content字段中配置。

  3. 同时,在数字人Clip中设置AI_ASR效果,自动生成对应字幕。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为文字",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "Content": "近日,随着消费升级和物流技术的发展,仓储式购物逐渐受到消费者的欢迎。据了解,这种购物方式是指将商品储存在仓库中,顾客通过线上平台选择商品后,到物流中心自行提取商品。避免了传统购物的排队、拥堵等问题,同时也提高了商品的物流效率和安全性。目前,不少电商企业已经开始尝试仓储式购物,成为未来新零售的重要趋势之一。",
            "Voice": "zhitian",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式二:通过音频媒资标识 MediaId生成数字人成片

您可以通过在时间线Timeline中传入一段原文件作为包含口播内容的音频文件的MediaId(该MediaId通过IMS媒资上传或注册接口取得),来驱动生成对应的数字人视频成片。

说明
  1. 设置了2条视频轨,其中第1条中设置了一个全局图片作为背景图,第2条视频轨中包含了一段由音频媒资标识 MediaId驱动生成的数字人视频;

  2. 在第2条视频轨的数字人Clip中,指定“云新”作为数字人形象;

  3. 同时,在数字人Clip中设置AI_ASR效果,自动生成对应字幕。

成片效果

时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "eb2dd180********92ee7e7d75b6301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaId",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaId": "596cbd10e********b6e6f7e5696302",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式三:通过音频文件地址 MediaURL生成数字人成片

与通过音频媒资标识 MediaId驱动类似,您也可以直接在Timeline中传入位于您的OSS bucket地址中音频文件的URL地址。依据这段OSS URL地址,就可以生成一段对应的数字人视频成片,省去了媒资注册的步骤。

说明
  1. 设置了2条视频轨,其中第1条中设置了一个全局图片作为背景图,第2条视频轨中包含了一段由音频 OSS地址MediaURL驱动生成的数字人视频;

  2. 在第2条视频轨的数字人Clip中,指定“云新”作为数字人形象;

  3. 同时,在数字人Clip中设置AI_ASR效果,自动生成对应字幕。

成片效果

时间线示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "数字人-输入为音频 MediaURL",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaURL": "https://your_bucket.oss-cn-shanghai.aliyuncs.com/your_audio.mp3",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式四:其它成片案例

科普场景

新闻播报场景

相关文档