阿里云首页 智能媒体生产 相关技术圈

音频处理

本文为您介绍整体静音、指定区间静音、提取音频、视频静音+完整音频混音、视频静音+音频指定区间混音、视频调节音量+音频调节音量、音频拼接、多轨音频混音、综合配音的示例,以音频处理场景Timeline的各种数据组织举例

整体静音示例

整体静音指将视频资源中的声音进行整体消除,即静音操作。如下示例中使用了针对音频的Volume Effect。Gain的含义是音量增益,值为0表示静音。

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0"
                        }
                    ]
                }
            ]
        }
    ]
}

指定区间静音示例

指定区间静音与视频整体静音的参数相比,增加了针对Volume Effect进行的入出点参数的设置。对视频的第8秒到第60秒的区间进行静音,视频的剩余部分维持原始音量不变,示例如下:

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0",
                            "In": 8,
                            "Out": "60"
                        }
                    ]
                }
            ]
        }
    ]
}

提取音频示例

提取音频指在某些场景中,需要将视频资源中的音频提取为单独的音频资源,您可以参考下面的示例,创建AudioTracks,将视频资源传入作为AudioTrackClips传入即可,****7e05512043f49f697f7425b9****表示一个带声音的视频资源ID。

{
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****7e05512043f49f697f7425b9****"
                }
            ]
        }
    ]
}

视频静音+完整音频混音示例

视频静音+完整音频混音指将原视频静音后重新配音,合成新的视频,是一个典型的配音场景。示例如下:

  • 所有与音频处理相关的Clip都放入AudioTrack。

  • TimelineIn设为5,表明该音频在输出视频的第5秒开始叠加。

  • TimelineOut不设,则默认为整段音频都将进行混流,如果音频的尾部超过了视频轨的总时长,则将对音频进行截断,播放到视频轨的尾部。

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0"
                        }
                    ]
                }
            ]
        }
    ],
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****744998414cbe8ea1976435a7****",
                    "TimelineIn":5
                }
            ]
        }
    ]
}

视频静音+音频指定区间混音示例

与视频静音+完整音频混音相比,视频静音+音频指定区间混音增加了对音频Clip入出点的设置。截取音频第10秒到第20秒的区间(即10秒的音频片段),从输出视频的第5秒开始叠加,示例如下:

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0"
                        }
                    ]
                }
            ]
        }
    ],
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****744998414cbe8ea1976435a7****",
                    "In":10,
                    "Out":20,
                    "TimelineIn":5
                }
            ]
        }
    ]
}

视频调节音量+音频调节音量示例

您可以通过Volume Effect设置音量,Gain表示音量大小。

Gain参数说明如下:

  • 0为静音

  • 1为原始音量

  • 0~1之间的值表示小于原始音量,值越小则音量越小

  • 大于1的值表示大于原始音量,值越大则音量越大

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0.5"
                        }
                    ]
                }
            ]
        }
    ],
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****744998414cbe8ea1976435a7****",
                    "In":10,
                    "Out":20,
                    "TimelineIn":5,
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "2"
                        }
                    ]
                }
            ]
        }
    ]
}

音频配置淡入淡出示例

您可以对音频添加Afade Effect, 从而实现音频的淡入淡出。

参数说明:

名称

类型

是否必填

描述

SubType

String

音频淡入淡出子类型。取值如下:

  • In(淡入)

  • Out(淡出)

Duration

Float

否。

淡入或淡出的时长,淡入作用在素材片段的头部,淡出作用在素材片段的尾部。默认时长为0,即淡入淡出不生效。

Curve

String

音频淡入淡出音量曲线。默认exp。

取值如下:

  • exp (音量指数型渐强/渐弱)

  • tri (音量线性渐强/渐弱)

以下时间线示例对音频轨上的媒资配置了3秒淡入,4s淡出,音量呈线性渐强/渐弱。

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaId": "****b3adc7967ba8f5cdf044b059****",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Duration": 3,
              "Curve": "tri"
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

视频的音频配置淡入淡出示例

不仅对音频轨上的素材,对视频轨上含有音频的媒体资源,也可以配置Afade Effect 实现淡入淡出效果。

以下时间线示例对视频轨上含有音频的媒资配置了3秒淡入,4s淡出,音量呈线性渐强/渐弱。

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaId": "****b3adc7967ba8f5cdf044b059****",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Curve": "tri",
              "Duration": 3
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

音频拼接示例

以上示例都存在视频轨,云剪辑还支持对纯音频轨的处理。在同一个音轨,将两个音频资源截取指定的区间顺序相接,合成总时长为30秒的音频资源,示例如下:

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****7e05512043f49f697f7425b9****",
                    "In": 100,
                    "Out": 120
                },
                {
                    "MediaId": "****4a04ce554e4f806b5f9e5a34****",
                    "In": 50,
                    "Out": 60
                }
            ]
        }
    ]
}

多轨音频混音示例

除同轨音频拼接之外,云剪辑还支持将多个音轨的音频资源进行混音。合成一个总时长为20秒的音频,示例如下:

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

{
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****7e05512043f49f697f7425b9****",
                    "In": 100,
                    "Out": 120,
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "2"
                        }
                    ]
                }
            ]
        },
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****4a04ce554e4f806b5f9e5a34****",
                    "In": 50,
                    "Out": 60,
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "1"
                        }
                    ]
                }
            ]
        }
    ]
}

综合配音示例

综合配音指视频+多轨音频混音,下面是一个综合应用音频处理的例子,包括视频指定区间静音,指定区间调节音量,外加多个音频轨混音等功能。具体操作:

  1. 视频****62d41a334dec9ac802b0f165****的第50秒~75秒静音。同时在这段时间内,启用两个音轨进行混音,第一个音轨截取了音频素材****7e05512043f49f697f7425b9****的第100秒~120秒区间,从50秒处开始插入,到70秒处结束,音量增大到2;第二个音轨截取了音频素材****4a04ce554e4f806b5f9e5a34****的第150秒~160秒区间,从65秒处开始插入,到75秒处结束。

  2. 视频****62d41a334dec9ac802b0f165****的第50秒~75秒、第120秒~125秒之外的区间,音量保持正常。

说明

AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

示例如下:

{
    "VideoTracks": [
        {
            "VideoTrackClips": [
                {
                    "MediaId": "****62d41a334dec9ac802b0f165****",
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "0",
                            "In": 50,
                            "Out": "75"
                        },
                        {
                            "Type": "Volume",
                            "Gain": "0.8",
                            "In": 120,
                            "Out": "125"
                        },

                    ]
                }
            ]
        }
    ],
    "AudioTracks": [
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****7e05512043f49f697f7425b9****",
                    "In": 100,
                    "Out": 120,
                    "TimelineIn":50
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "2"
                        }
                    ]
                }
            ]
        },
        {
            "AudioTrackClips": [
                {
                    "MediaId": "****4a04ce554e4f806b5f9e5a34****",
                    "In": 150,
                    "Out": 160,
                    "TimelineIn":65
                    "Effects": [
                        {
                            "Type": "Volume",
                            "Gain": "1"
                        }
                    ]
                }
            ]
        }
    ]
}