阿里云首页 智能媒体生产

Timeline配置说明

时间线是将素材按照视频创意进行编排和特效设计的产物。时间线主要包含轨道、素材、效果3种对象。更多时间线示例请参考最佳实践

名称

类型

是否必填

描述

VideoTracks

VideoTrack[]

否,视频轨为空时,音频轨必须非空。

视频轨列表。多个轨道的层叠顺序与数组元素顺序一致,如:数组的第一个元素图层的t在最底层,第二个元素的图层在其之上,以此类推。

AudioTracks

AudioTrack[]

否,音频轨为空时,视频轨必须非空。

音频轨列表。

ImageTracks

ImageTrack[]

否,存在图片轨道时,视频轨必须非空。

图片轨列表。注:

1)图片轨需叠加在视频轨之上,图片本身作为素材与视频混编时(如图片合成视频场景),请使用视频轨VideoTracks

2)多个轨道的层叠顺序与数组元素顺序一致,如:数组的第一个元素图层的t在最底层,第二个元素的图层在其之上,以此类推

SubtitleTracks

SubtitleTrack[]

字幕轨列表。

EffectTracks

EffectTrack[]

特效轨列表。

VideoTrack

视频轨VideoTrack用于编排图像素材,包括视频素材和图片素材。

名称

类型

是否必填

描述

Type

String

默认为普通视频轨。

当Type=Effect时,当前轨道可当做特效轨使用,VideoTrackClips可填入EffectTrackItem

VideoTrackClips

VideoTrackClip[]

视频轨素材片段列表

AudioTrack

音频轨AudioTrack用于编排音频素材,包括纯音频素材和带音频的视频素材。

名称

类型

是否必填

描述

AudioTrackClips

AudioTrackClip[]

音频轨素材片段列表

ImageTrack

图片轨ImageTrack用于编排图片素材。

名称

类型

是否必填

描述

ImageTrackClips

ImageTrackClip[]

图片轨素材片段列表

SubtitleTrack

字幕轨SubtitleTrack用于编排字幕,包括横幅文字和外挂字幕。

名称

类型

是否必填

描述

SubtitleTrackClips

SubtitleTrackClip[]

字幕轨素材片段列表

EffectTrack

特效轨EffectTrack用于为视频整体添加特效,支持滤镜、VFX。

名称

类型

是否必填

描述

EffectTrackItems

EffectTrackItem[]

特效轨片段列表。

VideoTrackClip

视频轨素材VideoTrackClip的范围包括视频素材和图片素材。

In、Out、TimelineIn、TimelineOut标记了对素材截取的位置以及素材在时间线中的位置,如:想把一段视频的5~10s放在时间线15s~20s位置上,则:In=5, Out=10, TimelineIn=15, TimelineOut=20。

名称

类型

是否必填

描述

MediaId

String

视频轨素材片段对应的ICE内容库媒资ID,或VOD媒资ID。

注:MediaId和MediaURL有且仅有一个不为空。

MediaURL

String

视频轨素材片段对应的OSS地址,格式为:

https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注:

  • MediaId和MediaURL有且仅有一个不为空。

  • MediaURL 仅支持oss外网地址,不支持oss加速地址、cdn地址或其他http url。

示例:使用OSS地址作为输入素材

Type

String

素材片段类型,默认Video。

取值:

  • Video(视频)

  • Image(图片)

In

Float

素材片段相对于素材的入点,在素材类型是音视频时使用。单位:秒,精确到小数点后4位。如果In不填,默认为0

Out

Float

素材片段相对于素材的出点,在素材类型是音视频时使用。单位:秒,精确到小数点后4位。如果Out不填,默认为素材时长。

Duration

Float

素材片段的时长,一般在素材类型是图片时使用。单位:秒,精确到小数点后4位

DyncFrames

Int

动图的帧率,在素材类型是图片且为动图时使用。示例:使用gif贴纸

TimelineIn

Float

素材片段相对于时间线的入点。单位:秒,精确到小数点后4位。如果TimelineIn不填,则会按照素材片段顺序相接的方式自动计算TimelineIn。

TimelineOut

Float

素材片段相对于时间线的出点。单位:秒,精确到小数点后4位。如果TimelineOut不填,则会按照素材片段顺序相接的方式自动计算TimelineOut

Effects

Effect[]

素材片段的效果列表

AudioTrackClip

音频轨素材AudioTrackClip的范围包括纯音频素材、有音频流的视频素材以及由文字直接转化生成的语音。

In、Out、TimelineIn、TimelineOut标记了对素材截取的位置以及素材在时间线中的位置,如:想把一段视频的5~10s放在时间线15s~20s位置上,则:In=5, Out=10, TimelineIn=15, TimelineOut=20。

音频轨素材为纯音频素材或有音频流的视频素材

名称

类型

是否必填

描述

MediaId

String

音频轨素材片段对应的ICE内容库媒资ID,或VOD媒资ID。

注: MediaId和MediaURL有且仅有一个不为空。

MediaURL

String

音频轨素材片段对应的OSS地址,格式为:

https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注:

  • MediaId和MediaURL有且仅有一个不为空。

  • MediaURL 仅支持oss外网地址,不支持oss加速地址、cdn地址或其他http url。

示例:使用OSS地址作为输入素材

In

Float

素材片段相对于素材的入点。单位:秒,精确到小数点后4位。如果In不填,默认为0

Out

Float

素材片段相对于素材的出点。单位:秒,精确到小数点后4位。如果Out不填,默认为素材时长。

TimelineIn

Float

素材片段相对于时间线的入点。单位:秒,精确到小数点后4位。如果TimelineIn不填,则会按照素材片段顺序相接的方式自动计算TimelineIn

TimelineOut

Float

素材片段相对于时间线的出点。单位:秒,精确到小数点后4位。如果TimelineOut不填,则会按照素材片段顺序相接的方式自动计算TimelineOut

Effects

Effect[]

素材片段的效果列表

音频轨素材直接由文字转化生成

时间线示例请参考最佳实践:文字转语音,并合成到视频中

名称

类型

是否必填

描述

Type

String

固定值:AI_TTS

Content

String

文本内容

Voice

String

声音类型

Format

String

文件格式,默认mp3。

支持PCM/WAV/MP3格式。

SpeechRate

Int

语速,取值范围:-500~500,默认值:0。

[-500, 0, 500] 对应的语速倍速区间为 [0.5, 1.0, 2.0]。

  • -500表示默认语速的0.5倍速。

  • 0表示默认语速的1倍速。1倍速是指模型默认输出的合成语速,语速会依据每一个发音人略有不同,大概每秒钟4个字左右。

  • 500表示默认语速的2倍速。

PitchRate

Int

语调,取值范围:-500~500,默认值:0。

TimelineIn

Float

素材片段相对于时间线的入点。单位:秒,精确到小数点后4位。如果TimelineIn不填,则会按照素材片段顺序相接的方式自动计算TimelineIn

TimelineOut

Float

素材片段相对于时间线的出点。单位:秒,精确到小数点后4位。如果TimelineOut不填,则会按照素材片段顺序相接的方式自动计算TimelineOut

Effects

Effect[]

素材片段的效果列表

ImageTrackClip

图像轨素材ImageTrackClip的范围包括图片素材。

名称

类型

是否必填

描述

MediaId

String

图片轨素材对应的媒资库图片资源MediaId,或VOD图片媒资Id。

注:MediaId和MediaURL有且仅有一个不为空。

MediaURL

String

图片轨素材片段对应的OSS地址,格式为:https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注:

  • MediaId和MediaURL有且仅有一个不为空。

  • MediaURL 仅支持oss外网地址,不支持oss加速地址、cdn地址或其他http url。

示例:使用OSS地址作为输入素材

X

Float

表示图片左上角距离输出视频左上角的横向距离。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频宽的占比。当取值为>=2的整数时,表示绝对像素。

Y

Float

表示图片左上角距离输出视频左上角的纵向距离。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频高的占比。当取值为>=2的整数时,表示绝对像素。

Width

Float

表示图片在输出视频中的宽度。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频宽的占比。当取值为>=2的整数时,表示绝对像素。

Height

Float

表示图片在输出视频中的高度。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频高的占比。当取值为>=2的整数时,表示绝对像素。

TimelineIn

Float

图片出现在时间线的起始位置。单位:秒,精确到小数点后4位。如果TimelineIn不填,默认值为0

TimelineOut

Float

图片出现在时间线的结束位置。单位:秒,精确到小数点后4位。如果TimelineOut不填,默认值为视频轨的最大时长

DyncFrames

Int

动图的帧率,在素材为动图时必填。示例:使用gif贴纸

Effects

Effect[]

素材的效果列表

SubtitleTrackClip

字幕轨素材SubtitleTrackClip的范围包括字幕素材。

名称

类型

是否必填

描述

Type

String

字幕素材类型。取值:

  • Subtitle 外挂字幕文件

  • Text 横幅文字

SubType

String

字幕素材子类型。取值:

  • srt 外挂srt字幕

  • ass 外挂ass字幕

字幕素材类型为横幅文字时,可忽略该字段。

FileURL

String

字幕文件对应的oss地址。当字幕类型为外挂字幕时必填。格式为:

https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注:

  • FileURL 仅支持oss外网地址,不支持oss加速地址、cdn地址或其他http url。

示例:外挂字幕

X

Float

当字幕类型为横幅文字时,表示文字左上角距离输出视频左上角的横向距离。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频宽的占比。当取值为>=2的整数时,表示绝对像素。

Y

Float

当字幕类型为横幅文字时,表示文字左上角距离输出视频左上角的纵向距离。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频高的占比。当取值为>=2的整数时,表示绝对像素。

TimelineIn

Float

当字幕类型为横幅文字时,表示文字出现在时间线的起始位置。单位:秒,精确到小数点后4位。如果TimelineIn不填,则会按照素材顺序相接的方式自动计算TimelineIn

TimelineOut

Float

当字幕类型为横幅文字时,表示文字出现在时间线的结束位置。单位:秒,精确到小数点后4位。如果TimelineOut不填,则会按照素材顺序相接的方式自动计算TimelineOut

Content

String

当字幕类型为横幅文字时必填,表示文字内容。

Font

String

当字幕类型为横幅文字时,表示文字的字体。默认为具体支持的字体参见:https://help.aliyun.com/document_detail/59950.html

FontSize

Int

当字幕类型为横幅文字时,表示文字的字号。

FontColor

String

当字幕类型为横幅文字时,表示文字的颜色,格式为#后跟16进制值。例如:#ffffff。

FontColorOpacity

String

当字幕类型为横幅文字时,表示文字的透明度,取值0-1,默认1。1为不透明,0为完全透明。

FontFace

FontFace

当字幕类型为横幅文字时,表示文字的字体外观。

Spacing

Int

当字幕类型为横幅文字时,表示横幅文字字间距。单位:像素值,默认为0。

Outline

Int

当字幕类型为横幅文字时,表示横幅文字描边宽度。单位:像素值,默认为0。

OutlineColour

String

当字幕类型为横幅文字时,表示横幅文字描边颜色,格式为#后跟16进制值。例如:#ffffff。

Shadow

Int

当字幕类型为横幅文字时,表示横幅文字投下阴影的深度,单位:像素值,默认为0。

BackColour

String

当字幕类型为横幅文字时,表示横幅文字阴影颜色,格式为#后跟16进制值。例如:#ffffff。

FontUrl

String

当字幕类型为横幅文字时,支持使用用户oss的字体文件路径来生成字幕,支持ttf、otf、woff三种格式的字体文件。例如:https://your-bucket.oss-cn-shanghai.aliyuncs.com/example-font.ttf

EffectColorStyle

String

当字幕类型为横幅文字时,表示横幅文字花字样式类型。花字种类及效果见:https://help.aliyun.com/document_detail/250206.html

AaiMotionInEffect

String

当字幕类型为横幅文字时,表示横幅文字入场特效类型。字幕入场特效种类及效果见:https://help.aliyun.com/document_detail/397343.html

AaiMotionIn

Float

当字幕类型为横幅文字时,表示横幅文字入场特效时长。单位:秒,精确到小数点后4位,如果AaiMotionIn不填,默认0.5s,如果文本时长小于0.5,则为总时长减去出场时长。

AaiMotionOutEffect

String

当字幕类型为横幅文字时,表示横幅文字出场特效类型。字幕出场特效种类及效果见:https://help.aliyun.com/document_detail/397343.html

AaiMotionOut

Float

当字幕类型为横幅文字时,表示横幅文字出场特效时长,单位秒,精确到小数点后4位,如果AaiMotionOut不填,默认0.5s,如果文本时长小于0.5,则为总文本时长。

AaiMotionLoopEffect

String

当字幕类型为横幅文字时,表示横幅文字循环特效类型,不可与字幕入场或者出场特效同时生效。循环特效种类以及效果见:https://help.aliyun.com/document_detail/397343.html

Ratio

Float

当字幕类型为横幅文字时,表示横幅文字循环特效播放速度,精确到小数点后4位。不填默认为1,大于1表示加速循环,小于1表示慢速循环。

EffectTrackItem

特效轨片段EffectTrackItem,类型包括VFX、滤镜。

名称

类型

是否必填

描述

Type

String

特效轨片段类型,支持:VFX、Filter。

SubType

String

特效轨片段子类型,详细见:

特效效果示例

滤镜效果示例

TimelineIn

Float

特效片段出现在时间线的起始位置。单位:秒,精确到小数点后4位。如果TimelineIn不填,则默认为0。

TimelineOut

Float

特效片段出现在时间线的结束位置。单位:秒,精确到小数点后4位。如果TimelineOut不填,则默认为视频结束时间。

Duration

Float

特效片段出现在时间线的持续时长。单位:秒,精确到小数点后4位。如果Duration不填,则默认为视频时长。

Duration和TimelineOut仅有一个生效。

X

Float

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域左上角距离输出视频左上角的横向距离。

注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频宽的占比。当取值为>=2的整数时,表示绝对像素。

Y

Float

该字段仅支持SubType为mosaic_rect/blur的情况。

特效区域距离输出视频左上角的纵向距离。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频高的占比。当取值为>=2的整数时,表示绝对像素。

Width

Float

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域在输出视频中的宽度。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频宽的占比。当取值为>=2的整数时,表示绝对像素。

Height

Float

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域在输出视频中的高度。注:支持百分比和像素两种形式。当取值为[0~0.9999]时,表示相对输出视频高的占比。当取值为>=2的整数时,表示绝对像素。

FontFace

字体样式FontFace

名称

类型

是否必填

描述

Bold

Boolean

加粗

Italic

Boolean

斜体

Underline

Boolean

下划线

Effect

素材效果Effect

不同的效果类型,有不同的属性可以设置,同时有一些共通的属性。

各类 Effect 的独立属性描述,详见 Effect配置说明

Effect 通用属性如下:

名称

类型

是否必填

描述

Type

String

效果类型。取值如下:

  • Text(横幅文字:视频轨素材)

  • DeWatermark(模糊:视频轨素材)

  • Crop(裁剪:视频轨素材)

  • Pad(贴边:视频轨素材)

  • Scale(缩放:视频轨素材)

  • Transition(转场:视频轨素材)

  • VFX(特效:视频规素材)

  • Volume(音量调整:音频轨素材)

  • AFade(音频淡入淡出:音频轨素材)

  • AI_ASR (识别音频生成字幕:视频轨、音频轨素材)

SubType

String

效果子类型

  • 当Type为Transition时,会进一步描述转场子类型。取值见:转场效果示例