全部产品
云市场

音频处理

更新时间:2018-11-02 17:36:13

概述

视频剪辑的简介、总体流程和媒体合成服务的两种使用方式已在 简介 中介绍过,媒体合成最终都是通过 媒体合成服务 发起并实现的,而Timeline是该服务重点处理的数据,也是视频剪辑中最核心的对象。Timeline内部参数可以组织成多种形式,以应对不同的业务场景。

样例

本文以音频处理场景(静音、混音、音频提取、音量调节等)Timeline的各种数据组织举例。

整体静音

整体静音指将视频资源中的声音进行整体消除,即静音操作。如下举例中使用了针对音频的Volume Effect,Gain的含义是音量增益,值为0表示静音。

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0"
  11. }
  12. ]
  13. }
  14. ]
  15. }
  16. ]
  17. }

指定区间静音

指定区间静音与视频整体静音的参数相比,增加了针对Volume Effect进行的入出点参数的设置。对视频的第8秒到第60秒的区间进行静音,视频的剩余部分维持原始音量不变,举例如下:

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0",
  11. "In": 8,
  12. "Out": "60"
  13. }
  14. ]
  15. }
  16. ]
  17. }
  18. ]
  19. }

提取音频

提取音频指在某些场景中,需要将视频资源中的音频提取为单独的音频资源,您可以参考下面的例子,创建AudioTracks,将视频资源传入作为AudioTrackClips传入即可,b3f37e05512043f49f697f7425b9188b表示一个带声音的视频资源Id。

  1. {
  2. "AudioTracks": [
  3. {
  4. "AudioTrackClips": [
  5. {
  6. "MediaId": "b3f37e05512043f49f697f7425b9188b"
  7. }
  8. ]
  9. }
  10. ]
  11. }

视频静音+完整音频混音

视频静音+完整音频混音指将原视频静音后重新配音,合成新的视频,是一个典型的配音场景。举例如下:

  • 所有与音频处理相关的Clip都放入AudioTrack。
  • TimelineIn设为5,表明该音频在输出视频的第5秒开始叠加。
  • TimelineOut不设,则默认为整段音频都将进行混流,如果音频的尾部超过了视频轨的总时长,则将对音频进行截断,播放到视频轨的尾部。

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0"
  11. }
  12. ]
  13. }
  14. ]
  15. }
  16. ],
  17. "AudioTracks": [
  18. {
  19. "AudioTrackClips": [
  20. {
  21. "MediaId": "4a71744998414cbe8ea1976435a7817a",
  22. "TimelineIn":5
  23. }
  24. ]
  25. }
  26. ]
  27. }

视频静音+音频指定区间混音

与视频静音+完整音频混音相比,视频静音+音频指定区间混音增加了对音频Clip入出点的设置。截取音频第10秒到第20秒的区间(即10秒的音频片段),从输出视频的第5秒开始叠加,举例如下:

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0"
  11. }
  12. ]
  13. }
  14. ]
  15. }
  16. ],
  17. "AudioTracks": [
  18. {
  19. "AudioTrackClips": [
  20. {
  21. "MediaId": "4a71744998414cbe8ea1976435a7817a",
  22. "In":10,
  23. "Out":20,
  24. "TimelineIn":5
  25. }
  26. ]
  27. }
  28. ]
  29. }

视频调节音量+音频调节音量

您可以通过Volume Effect设置音量,Gain表示音量大小。

Gain参数说明如下:

  • 0为静音
  • 1为原始音量
  • 0-1之间的值表示小于原始音量,值越小则音量越小
  • 大于1的值表示大于原始音量,值越大则音量越大

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0.5"
  11. }
  12. ]
  13. }
  14. ]
  15. }
  16. ],
  17. "AudioTracks": [
  18. {
  19. "AudioTrackClips": [
  20. {
  21. "MediaId": "4a71744998414cbe8ea1976435a7817a",
  22. "In":10,
  23. "Out":20,
  24. "TimelineIn":5,
  25. "Effects": [
  26. {
  27. "Type": "Volume",
  28. "Gain": "2"
  29. }
  30. ]
  31. }
  32. ]
  33. }
  34. ]
  35. }

音频拼接

以上举例都存在视频轨,云剪辑还支持对纯音频轨的处理。在同一个音轨,将两个音频资源截取指定的区间顺序相接,合成总时长为30秒的音频资源,举例如下:

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "AudioTracks": [
  3. {
  4. "AudioTrackClips": [
  5. {
  6. "MediaId": "b3f37e05512043f49f697f7425b9188b",
  7. "In": 100,
  8. "Out": 120
  9. },
  10. {
  11. "MediaId": "ab654a04ce554e4f806b5f9e5a342fa8",
  12. "In": 50,
  13. "Out": 60
  14. }
  15. ]
  16. }
  17. ]
  18. }

多轨音频混音

除同轨音频拼接之外,云剪辑还支持将多个音轨的音频资源进行混音。合成一个总时长为20秒的音频,举例如下:

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "AudioTracks": [
  3. {
  4. "AudioTrackClips": [
  5. {
  6. "MediaId": "b3f37e05512043f49f697f7425b9188b",
  7. "In": 100,
  8. "Out": 120,
  9. "Effects": [
  10. {
  11. "Type": "Volume",
  12. "Gain": "2"
  13. }
  14. ]
  15. }
  16. ]
  17. },
  18. {
  19. "AudioTrackClips": [
  20. {
  21. "MediaId": "ab654a04ce554e4f806b5f9e5a342fa8",
  22. "In": 50,
  23. "Out": 60,
  24. "Effects": [
  25. {
  26. "Type": "Volume",
  27. "Gain": "1"
  28. }
  29. ]
  30. }
  31. ]
  32. }
  33. ]
  34. }

综合配音

综合配音指视频+多轨音频混音,下面是一个综合应用音频处理的例子,包括视频指定区间静音,指定区间调节音量,外加多个音频轨混音等功能。具体操作:

  1. 视频3f7e62d41a334dec9ac802b0f165bb92的第50-75秒静音。同时在这段时间内,启用两个音轨进行混音,第一个音轨截取了音频素材b3f37e05512043f49f697f7425b9188b的第100-120秒区间,从50秒处开始插入,到70秒处结束,音量增大到2;第二个音轨截取了音频素材ab654a04ce554e4f806b5f9e5a342fa8的第150秒-160秒区间,从65秒处开始插入,到75秒处结束。
  2. 视频3f7e62d41a334dec9ac802b0f165bb92的第50-75、120-125秒之外的区间,音量保持正常。

注意:AudioTrackClip可以是纯音频资源,也可以是带声音的视频资源。

  1. {
  2. "VideoTracks": [
  3. {
  4. "VideoTrackClips": [
  5. {
  6. "MediaId": "3f7e62d41a334dec9ac802b0f165bb92",
  7. "Effects": [
  8. {
  9. "Type": "Volume",
  10. "Gain": "0",
  11. "In": 50,
  12. "Out": "75"
  13. },
  14. {
  15. "Type": "Volume",
  16. "Gain": "0.8",
  17. "In": 120,
  18. "Out": "125"
  19. },
  20. ]
  21. }
  22. ]
  23. }
  24. ],
  25. "AudioTracks": [
  26. {
  27. "AudioTrackClips": [
  28. {
  29. "MediaId": "b3f37e05512043f49f697f7425b9188b",
  30. "In": 100,
  31. "Out": 120,
  32. "TimelineIn":50
  33. "Effects": [
  34. {
  35. "Type": "Volume",
  36. "Gain": "2"
  37. }
  38. ]
  39. }
  40. ]
  41. },
  42. {
  43. "AudioTrackClips": [
  44. {
  45. "MediaId": "ab654a04ce554e4f806b5f9e5a342fa8",
  46. "In": 150,
  47. "Out": 160,
  48. "TimelineIn":65
  49. "Effects": [
  50. {
  51. "Type": "Volume",
  52. "Gain": "1"
  53. }
  54. ]
  55. }
  56. ]
  57. }
  58. ]
  59. }