本文介绍视频理解(videorecog)类目下的视频内容理解UnderstandVideoContent的语法及示例。

功能描述

视频内容理解能力可以分析出视频中的明星、素人、游戏画面等各种元素。

说明
  • 您可以进入在线咨询获取在线人工帮助。
  • 当前能力可在视觉智能开放平台有完整的免费产品体验,您可以单击立即试用对该能力进行更直观试用以及在线购买。
  • 阿里云视觉智能开放平台视觉AI能力API接入、接口使用或问题咨询等,请通过钉钉群(23109592)加入阿里云视觉智能开放平台咨询群联系我们。

应用场景

互联网广告分析:可分析互联网广告的内容和效果之间的关系,帮助客户更高的提升广告效果。

特色优势

支持分析各种复杂场景。如夹杂明星、素人等场景。

接入指引

1. 注册阿里云账号:打开阿里云官网,在阿里云官网右上角,单击立即注册,按照操作提示完成账号注册。

2. 开通能力:

  • 视频内容理解支持上海和呼和浩特地域(Region),默认不显示呼和浩特地域,如果您想使用呼和浩特地域,请添加钉钉群(23109592)联系技术支持开通呼和浩特白名单。
  • 请确保您已开通视频理解服务,若未开通服务请立即开通

3. 创建AccessKey:请确保您已创建AccessKey,如果您使用的是子账号AccessKey,您需要给子账号赋予AliyunVIAPIFullAccess权限,具体操作,请参见RAM授权

4. 在线调试(可选):您可以通过OpenAPI Explorer在线调试能力,查看完整的调用示例代码及SDK依赖信息,也可以下载完整的工程。

5. 开发接入步骤:

  • SDK总览中选择您要接入使用的SDK语言。
  • 在对应语言的SDK文档中找到AI类目为视频理解(videorecog)类目的SDK包进行安装。
  • 参考文档中提供的示例代码进行适当修改后调用。

6. 示例代码:该能力常用语言的示例代码,请参见视频内容理解示例代码,常用语言查询异步任务结果的示例代码,请参见查询异步任务结果示例代码

7. 客户端直接调用:该能力常用的客户端调用方式包括以下几种。

输入限制

  • 视频格式:MP4、AVI、FLV、MOV。
  • 视频大小:不超过1 GB。
  • 视频时长限制:时长不超过5分钟,超过时只返回前5分钟的分析结果。
  • URL地址中不能包含中文字符。

计费说明

关于视频内容理解的计费方式及报价,请参见计费介绍

说明 下方调试接口为付费接口。

调用步骤

该能力为异步能力,需分两步进行调用。

第一步调用UnderstandVideoContent接口提交任务,请求成功后,得到一个任务ID。

第二步调用GetAsyncJobResult接口查询结果,根据任务ID查询任务执行状态和结果。如果任务还在处理中,可稍等一段时间后再进行查询。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String UnderstandVideoContent

要执行的操作。取值:UnderstandVideoContent

VideoURL String http://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/videorecog/UnderstandVideoContent/UnderstandVideoContent1.mp4

视频URL地址。推荐使用上海地域的OSS链接,对于文件在本地或者非上海地域OSS链接的情况,请参见文件URL处理

返回数据

名称 类型 示例值 描述
RequestId String 71EC3F13-F0CA-4558-AC7F-A351106F59F2

请求ID。

Data Object

返回的结果数据内容。

该数据需要在异步任务执行成功后,通过调用GetAsyncJobResult接口,对其Result字段进行JSON反序列化之后得到。

TagInfo Map

标签。目前仅输出sceneInfo(场景)和humanInfo(人)。

VideoInfo Object

视频信息。

Width Long 720

视频的宽度。单位:像素。

Height Long 1280

视频的高。单位:像素。

Duration Long 43380

视频的时长。单位:毫秒。

Fps Float 25.0

视频的帧率。单位:帧。

Message String 该调用为异步调用,任务已提交成功,请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。

提交异步任务后的提示信息。

TagInfo字段参数说明

TagInfo字段参数下会输出sceneInfo(场景)和humanInfo(人),对应场景包含字段参数请参见下表。

字段

类型

是否必须

示例值

描述

TimeRange

list

[[0,0.1],[0.3,1.0]]

表示视频中的元素出现的时间相对位置。

例如整段视频时长为20秒,[[0,0.1],[0.3,1.0]]则表示该元素在整段视频中出现了2次,第一次出现的时间段为0~2秒,第二次出现的时间段为6~20秒。

TimeProportion

float

80

表示视频中的元素出现的时长占比,输出80则表示该元素在整段视频出现的时间占总时长的80%。取值范围 [0,100.0]。

Number

int

1

如果为HumanInfo字段时,当识别为非明星时表示出现的人物数量,被识别为明星时显示为1。 如果为非HumanInfo字段时,可忽略此字段。

Category

string

human-real-celebrity-古天乐

标签名称。具体分类如下图所示。

Category标签取值

查询结果

该接口为异步接口,当前并未返回真实的请求结果,您需要通过返回的RequestId调用GetAsyncJobResult接口来获取该接口的真实请求结果。详情请参见GetAsyncJobResult

SDK参考

阿里云视觉AI视频理解类目下的视频内容理解能力推荐使用SDK调用,支持多种编程语言,调用时请选择AI类目为视频理解(videorecog)的SDK包,文件参数通过SDK调用可支持本地文件及任意URL,具体可参见SDK总览

示例代码

该能力常用语言的示例代码,请参见视频内容理解示例代码,常用语言查询异步任务结果的示例代码,请参见查询异步任务结果示例代码

示例

请求示例

http(s)://videorecog.cn-shanghai.aliyuncs.com/?Action=UnderstandVideoContent      //更多关于访问域名(Endpoint)信息,请参见:https://help.aliyun.com/document_detail/143103.html
&VideoURL=http://viapi-test.oss-cn-shanghai.aliyuncs.com/viapi-3.0domepic/videorecog/UnderstandVideoContent/UnderstandVideoContent1.mp4
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<UnderstandVideoContentResponse>
    <RequestId>71EC3F13-F0CA-4558-AC7F-A351106F59F2</RequestId>
    <Message>该调用为异步调用,任务已提交成功,请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。</Message>
</UnderstandVideoContentResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "RequestId" : "71EC3F13-F0CA-4558-AC7F-A351106F59F2",
  "Message" : "该调用为异步调用,任务已提交成功,请以requestId的值作为jobId参数调用同类目下GetAsyncJobResult接口查询任务执行状态和结果。"
}

返回示例补充说明

//查询结果:请求示例
http(s)://videorecog.cn-shanghai.aliyuncs.com/?Action=GetAsyncJobResult
&JobId=E75FE679-0303-4DD1-8252-1143B4FA8A27
&<公共请求参数>

//查询结果:返回示例
{
  "RequestId" : "43A0AEB6-45F4-4138-8E89-E1A5D63200E3",
  "Data" : {
    "Status" : "PROCESS_SUCCESS",
    "JobId" : "186AC396-0EEC-46F1-AAA1-BF3585227427",
    "Result" : "{\"tagInfo\":{\"humanInfo\":[{\"timeRange\":[[0.7272727272727273,0.9696969696969697]],\"timeProportion\":24.242424242424242,\"number\":2,\"category\":\"human-real-normal\"}],\"sceneInfo\":[{\"timeRange\":[[0,0.09090909090909091],[0.21212121212121213,0.6666666666666666],[0.696969696969697,0.7878787878787878],[0.8181818181818182,0.8787878787878788]],\"timeProportion\":69.6969696969697,\"number\":1,\"category\":\"gamescreen-screenshot\"},{\"timeRange\":[[0.09090909090909091,0.21212121212121213],[0.8787878787878788,1]],\"timeProportion\":24.242424242424242,\"number\":1,\"category\":\"liveaction\"}]},\"videoInfo\":{\"width\":664,\"height\":372,\"duration\":31050,\"fps\":23.976023976023978}}"
  }
}

//Result反序列化
{
    "tagInfo" : [ {
      "humanInfo" : [ {
        "timeRange" : [0.7272727272727273,0.9696969696969697],
        "timeProportion" : 24.242424242424242,
        "number" : 2,
        "category" : "human-real-normal"
      } ]
      "sceneInfo" : [ {
        "timeRange" : [0,0.09090909090909091],[0.21212121212121213,0.6666666666666666],[0.696969696969697,0.7878787878787878],[0.8181818181818182,0.8787878787878788],
        "timeProportion" : 69.6969696969697,
        "number" : 1,
        "category" : "gamescreen-screenshot",
        "timeRange" : [0.09090909090909091,0.21212121212121213],[0.8787878787878788,1],
        "timeProportion" : 24.242424242424242,
        "number" : 1,
        "category" : "liveaction"
      } ]
      "videoInfo" : [ {
        "width" : 664,
        "height" : 372,
        "duration" : 31050,
        "fps" : "23.976023976023978"
      } ]
    } ]
}

错误码

关于视频内容理解的错误码,详情请参见常见错误码

安全声明

  • 请确保上传的图片或文件来源符合相应的法律法规。
  • 通过体验调试上传的临时文件有效期为1小时,在24小时后会被系统自动清理删除。