智能高光片段提取_智能媒体服务(IMS)-阿里云帮助中心

本文旨在介绍SubmitHighlightExtractionJob - 提交高光提取任务，以及通过GetSmartHandleJob获取高光提取任务的返回参数。

重要

注意：在此接口中，所有媒资的OSS URL中的区域（region）必须与调用OpenAPI服务地址中的区域（region）保持一致。
支持的区域：华东2（上海）、华北2（北京）、华东1（杭州）、华南1（深圳）、美国（西部）、新加坡。其中动作标签识别的能力（对应参数为Strategy.EnableActionRecog和Strategy.CustomActions），当前版本仅支持华东2（上海）地区开放。

使用说明

从多个视频素材获取高光片段的接口说明，请参见SubmitHighlightExtractionJob - 提交高光提取任务，API关键参数详见下文InputConfig 参数说明、OutputConfig 参数说明。
高光片段获取任务的详细信息，请参见GetSmartHandleJob - 获取智能任务结果，任务结果中的关键参数详见AiResult 参数说明。

InputConfig 参数说明

用户可通过配置InputConfig，指定视频素材、高光拆条配置等参数。

参数

类型

说明

是否必填

MediaArray

List<Media>

影视剧素材仅支持视频格式。可通过传入媒资ID或素材OSS URL列表进行上传。视频的总时长最多为两小时，数量上限为5个。

是

Strategy

JSON

高光片段拆条策略配置：

Count：单个素材中提取高光片段的数量，其取值范围为[1,10]，默认值设定为5。
ClipDuration：每个高光片段的期望时长，单位秒，取值范围[3,60]，默认值为15。每个高光片段的时长将围绕该数值呈现一定幅度的波动。
EnableActionRecog: 是否开启动作识别，默认false。
CustomActions: 自定义动作标签，优先按照传入的标签名称做映射。例如： ["打斗","哭泣"]。数组长度上限为50，每个标签字符上限为5。

否

Media 参数说明

参数

类型

说明

是否必填

MediaId

String

媒资ID

二选一必填

都填写时优先取用MediaId

MediaURL

String

媒资URL，仅支持自有OSS

参数示例

{
  "MediaArray": [
    {
      "MediaId": "1cb94770da*******75e6e6c5486302"
    }
  ],
  "Strategy": {
    "Count": 5,
    "ClipDuration": 15,
    "EnableActionRecog": true,
    "CustomActions":  ["打斗","哭泣"]
  }
}

OutputConfig 参数说明

用户可通过配置OutputConfig，指定成片输出地址、名称规则等合成参数。

参数	类型	说明	必填	示例
NeedExport	Boolean	是否直接导出片段。取值范围： true时，结果返回 false时，结果仅返回高光片段的时间区间，不做实际拆条。	否，默认false	false
OutputMediaTarget	String	当NeedExport = true时必填输出文件的目标类型 oss-object（客户在阿里云 oss bucket 下的 oss object）	否，默认oss-object	oss-object
Endpoint	String	满足S3协议的Endpoint OSS， region需与接入服务一致默认为同一region的oss endpoint。	否	https://oss-cn-shanghai.aliyuncs.com
Bucket	String	当NeedExport = true时必填满足S3协议的存储Bucket 自有oss 存储 bucket	否	test-output
ObjectKey	String	当NeedExport = true时必填满足S3协议的对象名支持的占位符： {index}: 必须包含在文件路径中	否	dir/to/testOutput_{index}.mp4
ExportAsNewMedia	Boolean	当NeedExport = true时选填是否输出为新媒资仅当OutputMediaTarget = oss-object时支持填写	否，默认false	false
Width	Integer	当NeedExport = true时选填成片宽，单位：px。不填则和素材视频相同	否	1280
Height	Integer	当NeedExport = true时选填成片高，单位：px。不填则和素材视频相同	否	720
Video	JSONObject	当NeedExport = true时选填输出视频流相关配置，Crf、Codec等	否	{ "Bitrate": 3000 }

参数示例

 {
    "NeedExport": true,
    "OutputMediaTarget": "oss-object",
    "Endpoint": "https://oss-cn-shanghai.aliyuncs.com"
    "Bucket": "test-output",
    "ObjectKey": "dir/to/testOutput_{index}.mp4",
    "ExportAsNewMedia": false,
    "Width": 1280,
    "Height": 720,
    "Video": {
      "Bitrate": 3000
    }
  }

GetSmartHandleJob

通过GetSmartHandleJob - 获取智能任务结果获取高光片段任务的结果，AiResult的参数说明如下：

AiResult 参数说明

{
  "HighlightResults": [
    {
      "Media": "MediaId1", //如果InputConfig里输入的是url，那么这里也是url
      "TimeRanges": [
        {
          "In": 20,
          "Out": 30,
          "Tags": ["打斗","哭泣"], //识别出来的动作标签
          "OutputURL": "http://test-output.oss-cn-shanghai.aliyuncs.com/output_0.mp4", // needExport = true 时才返回
          "MediaId": "MediaId11", // ExportAsNewMedia=true 时才返回
        }
      ]
    },
    {
      "Media": "MediaId2", //如果InputConfig里输入的是url，那么这里也是url
      "TimeRanges": [
        {
          "In": 2,
          "Out": 10,
          "Tags": ["奔跑","呼喊"],
          "OutputURL": "http://test-output.oss-cn-******.aliyuncs.com/output_1.mp4" // needExport = true 时才返回
        },
        {
          "In": 40,
          "Out": 50,
          "OutputURL": "http://test-output.oss-cn-******.aliyuncs.com/output_2.mp4" // needExport = true 时才返回
        }
      ]
    }
  ]
}