查询智能标签作业的状态与结果。结果包含视频中的人物、场景、关键词等等各种算法智能分析得到的数据。

请求参数

名称 类型 是否必选 描述
Action String 是 操作接口名，系统规定参数，取值：QuerySmarttagJob
JobId String 是 智能标签任务ID

返回参数

名称 类型 描述
JobStatus String 任务状态，有以下值：Success：处理成功；Fail：处理失败；Processing：处理中；Submitted：已提交等待处理
Results Result[] 分析结果对象数组
Result.Type String 分析结果的类型，目前有以下几种类型：VideoLabel：视频标签，包括人物与场景；TextLabel：文本标签；ASR：语音识别原始结果（默认不返回）；OCR：文字识别原始结果（默认不返回）
Result.Data String 分析结果的具体数据，以JSON字符串表示。不同Type的数据结构见下方定义
VideoLabel数据结构（来源于视觉信息）
名称 类型 描述
persons JSONArray 检测到的人物结果
persons.name String 识别到的人物名称
persons.category String 人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）；custom（自定义人物）；unknown（未知人物）
persons.ratio double 人物出现率，取值：0~1
persons.occurrences JSONArray 人物出场详细信息
persons.occurrences.score double 置信度得分
persons.occurrences.from double 检测到人物的起始时间，单位为秒
persons.occurrences.to double 检测到人物的结束时间，单位为秒
persons.occurrences.position JSONObject 人脸坐标
persons.occurrences.position.leftTop int[] 左上角x,y坐标
persons.occurrences.position.rightBottom int[] 右下角x,y坐标
persons.occurrences.timestamp double 人脸坐标所在的时间戳，单位为秒
persons.occurrences.scene String 人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags JSONArray 检测到的物体场景等标签，详见下表举例
tags.mainTagName String 主标签
tags.subTagName String 子标签
tags.ratio double 出现率，取值：0~1
tags.occurrences JSONArray 出现详细信息
tags.occurrences.score double 置信度得分
tags.occurrences.from double 起始时间，单位秒
tags.occurrences.to double 结束时间，单位秒
classifications JSONArray 视频分类信息
classifications.score double 置信度得分
classifications.category1 String 一级分类，比如：生活、动漫、汽车等等
classifications.category2 String 二级分类，比如生活下面细分为：健康、家居、女性等等

视频tags标签举例说明

mainTagName subTagName
节目 比如：爸爸去哪儿、欢乐喜剧人等
人物角色 比如：医生、护士、教师等
物体 比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
标识 比如：CCTV1、CCTV2、优酷、东方卫视等
动作事件 比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等
地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
场景 比如：卧室、地铁站、梯田、海滩、沙漠等
表情 比如：生气、厌恶、恐惧、快乐、悲伤、惊讶、平静等

TextLabel数据结构（来源于ASR和OCR）

名称 类型 描述
tags JSONArray 文本标签信息，详见下表举例
tags.name String 标签类别
tags.value String 标签值，可能有多个标签值，以英文逗号“,”分割

文本tags标签举例说明

name value
地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
组织机构 比如：中国生动物保护协会、中央广播电视台等
标识 比如：耐克、李宁
关键词 比如：中坚力量、一国两制

ASR数据结构（默认不返回）

名称 类型 描述
details JSONArray 任务详细结果
details.from double 开始时间戳，以秒为单位
details.to double 结束时间戳，以秒为单位
details.content String 识别出的文本内容

OCR数据结构（默认不返回）

名称 类型 描述
details JSONArray 任务详细结果
details.timestamp double 时间戳信息，以秒为单位
details.info JSONArray 该时间点识别出的具体信息
details.info.score double 置信度得分
details.info.position JSONObject 文字坐标
details.info.position.leftTop int[] 左上角x,y坐标
details.info.position.rightBottom int[] 右下角x,y坐标
details.info.content String 识别出的文本内容

回调消息格式定义

当智能标签任务执行状态改变时，mps会发送消息到用户指定的queue中（如何指定回调queue详见mps的更新管道接口）。消息体是一个Json字符串，包含字段如下：

名称 类型 描述
Type String 固定字符串“smarttag”，表示智能标签任务
JobId String 任务唯一ID
State String 任务当前状态，与QuerySmarttagJob中的JobStatus一致
UserData String 用户在SubmitSmarttagJob中传入的UserData

示例

请求示例

http://mts.cn-shanghai.aliyuncs.com?Action=QuerySmarttagJob&JobId=88c6ca184c0e47098a5b665e2a126797&<公共参数>

返回示例

JSON格式

{
  "UserData": "take back to me",
  "RequestId": "12DD436D-DAF5-4D53-A8A4-265EB986F06A",
  "JobStatus": "Success",
  "Results": {
    "Result": [
      {
        "Data": "{\"classifications\":[{\"category1\":\"资讯\",\"category2\":\"社会资讯\",\"score\":0.688}],\"message\":\"SUCCESS\",\"persons\":[{\"category\":\"politician\",\"name\":\"万立骏\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[455,51],\"rightBottom\":[1117,389]},\"scene\":\"medium-closeUp\",\"score\":0.972,\"timestamp\":4.56,\"to\":5.32},{\"from\":11.44,\"position\":{\"leftTop\":[663,126],\"rightBottom\":[1391,339]},\"scene\":\"medium-closeUp\",\"score\":0.925,\"timestamp\":12.44,\"to\":13.56},{\"from\":16.44,\"position\":{\"leftTop\":[567,78],\"rightBottom\":[1278,346]},\"scene\":\"medium-closeUp\",\"score\":0.941,\"timestamp\":17.08,\"to\":19.2},{\"from\":24.44,\"position\":{\"leftTop\":[609,100],\"rightBottom\":[1301,308]},\"scene\":\"medium-closeUp\",\"score\":0.958,\"timestamp\":26.2,\"to\":26.32},{\"from\":42.6,\"position\":{\"leftTop\":[742,147],\"rightBottom\":[1590,429]},\"scene\":\"medium-closeUp\",\"score\":0.963,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.252},{\"category\":\"politician\",\"name\":\"徐绍川\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[518,85],\"rightBottom\":[1220,429]},\"scene\":\"medium-closeUp\",\"score\":0.967,\"timestamp\":7.8,\"to\":7.92},{\"from\":30.2,\"position\":{\"leftTop\":[625,147],\"rightBottom\":[1309,370]},\"scene\":\"medium-closeUp\",\"score\":0.909,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.094},{\"category\":\"unknown\",\"name\":\"未知人脸1\",\"occurrences\":[{\"from\":26.44,\"position\":{\"leftTop\":[622,106],\"rightBottom\":[1322,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":26.44,\"to\":27.2}],\"ratio\":0.016},{\"category\":\"unknown\",\"name\":\"未知人脸2\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[1002,118],\"rightBottom\":[2129,385]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32}],\"ratio\":0.06},{\"category\":\"unknown\",\"name\":\"未知人脸3\",\"occurrences\":[{\"from\":42.6,\"position\":{\"leftTop\":[363,222],\"rightBottom\":[833,564]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸4\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[1113,192],\"rightBottom\":[2302,480]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":29.8,\"to\":30.08},{\"from\":30.2,\"position\":{\"leftTop\":[1160,206],\"rightBottom\":[2397,505]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.053},{\"category\":\"unknown\",\"name\":\"未知人脸5\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[86,54],\"rightBottom\":[313,286]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸6\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[899,109],\"rightBottom\":[1874,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":31.2}],\"ratio\":0.034},{\"category\":\"unknown\",\"name\":\"未知人脸7\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[346,264],\"rightBottom\":[786,642]},\"scene\":\"closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32},{\"from\":5.44,\"position\":{\"leftTop\":[837,202],\"rightBottom\":[1789,555]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92},{\"from\":16.44,\"position\":{\"leftTop\":[458,233],\"rightBottom\":[1001,575]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":17.08,\"to\":19.2}],\"ratio\":0.169},{\"category\":\"unknown\",\"name\":\"未知人脸8\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[326,162],\"rightBottom\":[768,486]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":5.8,\"to\":7.56}],\"ratio\":0.044}],\"success\":true,\"tags\":[{\"mainTagName\":\"场景\",\"occurrences\":[{\"from\":40.2,\"score\":0.776,\"to\":42.44}],\"ratio\":0.047,\"subTagName\":\"公寓\"}]}",
        "Type": "VideoLabel"
      },
      {
        "Data": "{\"message\":\"SUCCESS\",\"success\":true,\"tags\":[{\"name\":\"人物\",\"value\":\"习近平,万立骏\"},{\"name\":\"关键词\",\"value\":\"自治区,群众性,中国特色社会主义,慰问,中国梦,统战部,调研,总书记,南宁市,政治性,先进性\"},{\"name\":\"组织机构\",\"value\":\"党中央,中国侨联党组\"},{\"name\":\"地域\",\"value\":\"南宁市,中国\"}]}",
        "Type": "TextLabel"
      }
    ]
  }
}