调用QuerySmarttagJob查询智能标签作业。

使用说明

  • 本接口返回数据中包含视频中的人物、场景、关键词等各种算法智能分析得到的数据。
  • 智能标签功能，目前开通的地域为华北2（北京）、华东2（上海）、华东1（杭州），其他地域暂不支持。

QPS限制

本接口的单用户QPS限制为100次/秒。超过限制，API调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见QPS限制。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String 是 QuerySmarttagJob

系统规定参数。取值：QuerySmarttagJob。
JobId String 是 39f8e0bc005e4f309379701645f4****

需要查询的智能标签作业ID。可以从提交智能标签作业的返回参数中获取。
Params String 否 {"labelResultType":"auto"}

额外的请求参数，使用JSON字符串表示，例如：{"labelResultType":"auto"}。其中，labelResultType为String类型，可取值：

  • auto：机器打标结果
  • hmi：人机协同结果

返回数据

名称 类型 示例值 描述
JobStatus String Success

任务状态，可取值：

  • Success：处理成功。
  • Fail：处理失败。
  • Processing：处理中。
  • Submitted：已提交等待处理。
RequestId String 7B117AF5-2A16-412C-B127-FA6175ED1AD0

请求ID。
UserData String example UserData ****

通过MNS回调时透传回来的信息。消息格式请参见下文回调消息格式定义。
Results Array of Result

分析结果对象数组。
Result
Type String Meta

分析结果的类型。

  • 标签1.0分析结果类型：
    • TextLabel：文本标签
    • VideoLabel：视频标签
    • ASR：语音识别原始结果（默认不返回）
    • OCR：文字识别原始结果（默认不返回）
  • 标签2.0分析结果类型：
    • CPVLabel（人机）
    • Meta：视频标题等信息（默认不返回）
  • 标签2.0-custom分析结果类型：
    • CPVLabel（人机）
    • Meta：视频标题等信息（默认不返回）
Data String {"title":"example-title-****"}

分析结果的具体数据，以JSON字符串表示。不同Type的数据结构见下文Result参数说明。
回调消息格式定义

当智能标签任务执行状态改变时，mps会发送消息到用户指定的queue中（如何指定回调queue详见mps的更新管道接口）。消息体是一个JSON字符串，包含字段如下：

名称

类型

描述

Type

String

固定字符串“smarttag”，表示智能标签任务

JobId

String

任务唯一ID

State

String

任务当前状态，与QuerySmarttagJob中的JobStatus一致

UserData

String

用户在SubmitSmarttagJob中传入的UserData
Result参数说明

VideoLabel数据结构

名称

类型

描述

persons

JSONArray

检测到的人物结果

persons.name

String

识别到的人物名称

persons.category

String

人物类型，取值如下：

celebrity

（名人）；

politician

（政治人物）；

sensitive

（敏感人物）；

unknown

（未知人物）；自定义人物库ID（识别到的人物为自定义人物时返回）

persons.ratio

double

人物出现率，取值：0~1

persons.occurrences

JSONArray

人物出场详细信息

persons.occurrences.score

double

置信度得分

persons.occurrences.from

double

检测到人物的起始时间，单位（秒）

persons.occurrences.to

double

检测到人物的结束时间，单位（秒）

persons.occurrences.position

JSONObject

人脸坐标

persons.occurrences.position.leftTop

int[]

左上角x，y坐标

persons.occurrences.position.rightBottom

int[]

右下角x，y坐标

persons.occurrences.timestamp

double

人脸坐标所在的时间戳，单位为秒

persons.occurrences.scene

String

人物镜头，包括：

closeUp

（特写）；

medium-closeUp

（近景）；

medium

（中景）；

medium-long

（全景）

tags

JSONArray

检测到的物体场景等标签，详见下表举例

tags.mainTagName

String

主标签

tags.subTagName

String

子标签

tags.ratio

double

出现率，取值：0~1

tags.occurrences

JSONArray

出现详细信息

tags.occurrences.score

double

置信度得分

tags.occurrences.from

double

起始时间，单位（秒）

tags.occurrences.to

double

结束时间，单位（秒）

classifications

JSONArray

视频分类信息

classifications.score

double

置信度得分

classifications.category1

String

一级分类，比如：生活、动漫、汽车等等

classifications.category2

String

二级分类，比如生活下面细分为：健康、家居等等

视频Tags标签举例说明

mainTagName

subTagName

节目

比如：爸爸去哪儿、欢乐喜剧人等

人物角色

比如：医生、护士、教师等

物体

比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等

标识

比如：CCTV1、CCTV2、优酷、东方卫视等

动作事件

比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等

地域

比如：北京天安门、自由女神像、乐山大佛、中国、美国等

场景

比如：卧室、地铁站、梯田、海滩、沙漠等

ImageLabel数据结构

名称

类型

描述

persons

JSONArray

检测到的人物结果

persons.name

String

识别到的人物名称

persons.category

String

人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）

persons.score

double

人物置信度得分

persons.position

JSONObject

人脸坐标

persons.position.leftTop

int[]

左上角x，y坐标

persons.position.rightBottom

int[]

右下角x，y坐标

persons.scene

String

人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）

tags

JSONArray

检测到的物体场景等标签，详见下表举例

tags.mainTagName

String

主标签

tags.subTagName

String

子标签

tags.score

double

置信度得分

图片tags标签举例说明

mainTagName

subTagName

人物角色

比如：医生、护士、教师等

地域

比如：北京天安门、自由女神像、乐山大佛、中国、美国等

动作事件

比如：讲话等

标识

比如：CCTV1、CCTV2、优酷、东方卫视等

动作事件

比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等

物体

比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等

场景

比如：卧室、地铁站、梯田、海滩、沙漠等

TextLabel数据结构（来源于ASR和OCR）

名称

类型

描述

tags

JSONArray

文本标签信息，详见下表举例

tags.name

String

标签类别

tags.value

String

标签值，可能有多个标签值，以半角逗号（,）分割

图片tags标签举例说明

name

value

地域

比如：北京天安门、自由女神像、乐山大佛、中国、美国等

组织机构

比如：中国生动物保护协会、中央广播电视台等

标识

比如：耐克、李宁

关键词

比如：中坚力量

CPVLabel数据结构

  • cates：类目（一级类目、二级类目、三级类目）
  • entities：类目属性（带有知识图谱信息）
  • hotwords：热点词（用户关注的名单）
  • freeTags：自由标签（关键词）

名称

类型

示例值

说明

type

String

hmi

结果类型。取值：hmi（人机协同结果）、autp（机器打标结果）

cates

JSONArray

-

分类类目结果

cates.labelLevel1

String

旅游

一级标签

cates.labelLevel2

String

旅游风光

二级标签

cates.label

String

""

标签名称，算法可能返回空

cates.appearanceProbability

double

0.96

出现率

cates.detailInfo

JSONArray

-

cates.detailInfo.score

double

0.9

置信度

cates.detailInfo.startTime

double

0.021

开始时间

cates.detailInfo.endTime

double

29.021

结束时间

entities

JSONArray

-

-

entities.labelLevel1

String

地域

一级标签

entities.labelLevel2

String

地标

二级标签

entities.label

String

黄果树瀑布

标签名称

entities.appearanceProbability

double

0.067

出现率

entities.knowledgeInfo

String

{"name": "黄果树瀑布", "nameEn": "Huangguoshu Waterfall", "description": "亚洲四大瀑布之一"}

知识图谱信息，全部字段后附表：影视综IP图谱、音乐图谱、人物图谱、地标图谱、物体图谱。

entities.detailInfo

JSONArray

-

-

entities.detailInfo.score

double

0.33292606472969055

置信度

entities.detailInfo.startTime

double

6.021

开始时间

entities.detailInfo.endTime

double

8.021

结束时间

entities.detailInfo.trackData

JSONArray

-

实体标签结构化信息

entities.detailInfo.trackData.score

double

0.32

置信度

entities.detailInfo.trackData.bbox

integer[]

23，43，45，67

坐标框

entities.detailInfo.trackData.timestamp

double

7.9

时间戳

hotwords

JSONArray

-

-

hotwords.labelLevel1

String

关键词

一级标签

hotwords.labelLevel1

String

关键词

二级标签

hotwords.labelLevel2

String

""

二级标签

hotwords.label

String

中国气象局

看点词内容

hotwords.appearanceProbability

double

0.96

出现率

hotwords.detailInfo

JSONArray

hotwords.detailInfo.score

double

1.0

置信度

hotwords.detailInfo.startTime

double

0.021

开始时间

hotwords.detailInfo.endTime

double

29.021

结束时间

freeTags

JSONArray

freeTags.labelLevel1

String

关键词

一级标签

freeTags.labelLevel2

String

""

二级标签

freeTags.label

String

中央气象台

看点词内容

freeTags.appearanceProbability

double

0.96

出现率

freeTags.detailInfo

JSONArray

freeTags.detailInfo.score

double

0.9

置信度

freeTags.detailInfo.startTime

double

0.021

开始时间

freeTags.detailInfo.endTime

double

29.021

结束时间

语音识别ASR结果

名称

类型

描述

details

JSONArray

任务详细结果

details.from

double

开始时间戳，单位（秒）

details.to

double

结束时间戳，单位（秒）

details.content

String

识别出的文本内容

文本识别OCR结果

名称

类型

描述

details

JSONArray

任务详细结果

details.timestamp

double

时间戳信息，单位（秒）

details.info

JSONArray

该时间点识别出的具体信息

details.info.score

double

置信度得分

details.info.position

JSONObject

文字坐标

details.info.position.leftTop

int[]

左上角x，y坐标

details.info.position.rightBottom

int[]

右下角x，y坐标

details.info.content

String

识别出的文本内容

details.info.textType

String

文本类型，取值：0（正常字幕）、1（滚动字幕）、2（定长标识性字幕，持续时间3秒以上）

Meta标注结果
说明 如果客户没有使用人机标注，在使用SubmitSmarttagJob提交任务时如果指定了needMetaData，目前QuerySmarttagJob返回结果时会返回原始客户输入的标题。

名称

类型

描述

title

String

标题
字幕提取结果Subtitle

名称

类型

描述

details

JSONArray

任务详细结果

details.allResultUrl

String

全部字幕结果URL，URL有效期为任务完成后半年内可有效访问

details.chResultUrl

String

中文结果URL，URL有效期为任务完成后半年内可有效访问

details.engResultUrl

String

英文结果URL，URL有效期为任务完成后半年内可有效访问
说明 字幕结果URL内容：序号+时间段+字幕内容（每句字幕为一行）。

示例

请求示例

http(s)://mts.cn-shanghai.aliyuncs.com/?Action=QuerySmarttagJob
&JobId=39f8e0bc005e4f309379701645f4****
&Params={"labelResultType":"auto"}
&<公共请求参数>

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<QuerySmarttagJobResponse>
    <JobStatus>Success</JobStatus>
    <RequestId>7B117AF5-2A16-412C-B127-FA6175ED1AD0</RequestId>
    <UserData>example UserData ****</UserData>
    <Results>
        <Type>Meta</Type>
        <Data>{"title":"example-title-****"}</Data>
    </Results>
</QuerySmarttagJobResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "JobStatus" : "Success",
  "RequestId" : "7B117AF5-2A16-412C-B127-FA6175ED1AD0",
  "UserData" : "example UserData ****",
  "Results" : [ {
    "Type" : "Meta",
    "Data" : "{\"title\":\"example-title-****\"}"
  } ]
}

错误码

访问错误中心查看更多错误码。