查询智能标签作业的状态与结果。结果包含视频中的人物、场景、关键词等等各种算法智能分析得到的数据。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 描述
Action String 是 操作接口名，系统规定参数，取值：QuerySmarttagJob
JobId String 是 智能标签任务ID

返回参数

名称 类型 描述
JobStatus String 任务状态，有以下值：Success：处理成功；Fail：处理失败；Processing：处理中；Submitted：已提交等待处理
Results Result[] 分析结果对象数组
Result.Type String 分析结果的类型，目前有以下几种类型：VideoLabel：视频标签，包括人物与场景；TextLabel：文本标签；ASR：语音识别原始结果（默认不返回）；OCR：文字识别原始结果（默认不返回）
Result.Data String 分析结果的具体数据，以JSON字符串表示。不同Type的数据结构见下方定义
  • VideoLabel数据结构（来源于视频视觉信息）
    名称 类型 描述
    persons JSONArray 检测到的人物结果
    persons.name String 识别到的人物名称
    persons.category String 人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）；unknown（未知人物）；自定义人物库ID（识别到的人物为自定义人物时返回）
    persons.ratio double 人物出现率，取值：0~1
    persons.occurrences JSONArray 人物出场详细信息
    persons.occurrences.score double 置信度得分
    persons.occurrences.from double 检测到人物的起始时间，单位（秒）
    persons.occurrences.to double 检测到人物的结束时间，单位（秒）
    persons.occurrences.position JSONObject 人脸坐标
    persons.occurrences.position.leftTop int[] 左上角x，y坐标
    persons.occurrences.position.rightBottom int[] 右下角x，y坐标
    persons.occurrences.timestamp double 人脸坐标所在的时间戳，单位为秒
    persons.occurrences.scene String 人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
    tags JSONArray 检测到的物体场景等标签，详见下表举例
    tags.mainTagName String 主标签
    tags.subTagName String 子标签
    tags.ratio double 出现率，取值：0~1
    tags.occurrences JSONArray 出现详细信息
    tags.occurrences.score double 置信度得分
    tags.occurrences.from double 起始时间，单位（秒）
    tags.occurrences.to double 结束时间，单位（秒）
    classifications JSONArray 视频分类信息
    classifications.score double 置信度得分
    classifications.category1 String 一级分类，比如：生活、动漫、汽车等等
    classifications.category2 String 二级分类，比如生活下面细分为：健康、家居等等
  • 视频tags标签举例说明
    mainTagName subTagName
    节目 比如：爸爸去哪儿、欢乐喜剧人等
    人物角色 比如：医生、护士、教师等
    物体 比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
    标识 比如：CCTV1、CCTV2、优酷、东方卫视等
    动作事件 比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等
    地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
    场景 比如：卧室、地铁站、梯田、海滩、沙漠等
    表情 比如：生气、厌恶、恐惧、快乐、悲伤、惊讶、平静等
  • ImageLabel数据结构（来源于图片视觉信息）
名称 类型 描述
persons JSONArray 检测到的人物结果
persons.name String 识别到的人物名称
persons.category String 人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）
persons.score double 人物置信度得分
persons.position JSONObject 人脸坐标
persons.position.leftTop int[] 左上角x，y坐标
persons.position.rightBottom int[] 右下角x，y坐标
persons.scene String 人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags JSONArray 检测到的物体场景等标签，详见下表举例
tags.mainTagName String 主标签
tags.subTagName String 子标签
tags.score double 置信度得分
  • 图片tags标签举例说明
    mainTagName subTagName
    人物角色 比如：医生、护士、教师等
    地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
    动作事件 比如：讲话等
    物体 比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
    场景 比如：卧室、地铁站、梯田、海滩、沙漠等
  • TextLabel数据结构（来源于ASR和OCR）
    名称 类型 描述
    tags JSONArray 文本标签信息，详见下表举例
    tags.name String 标签类别
    tags.value String 标签值，可能有多个标签值，以英文逗号“,”分割
  • 文本tags标签举例说明
    name value
    地域 比如：北京天安门、自由女神像、乐山大佛、中国、美国等
    组织机构 比如：中国生动物保护协会、中央广播电视台等
    标识 比如：耐克、李宁
    关键词 比如：中坚力量、一国两制
  • ASR数据结构（默认不返回）
    名称 类型 描述
    details JSONArray 任务详细结果
    details.from double 开始时间戳，单位（秒）
    details.to double 结束时间戳，单位（秒）
    details.content String 识别出的文本内容
  • OCR数据结构（默认不返回）
    名称 类型 描述
    details JSONArray 任务详细结果
    details.timestamp double 时间戳信息，单位（秒）
    details.info JSONArray 该时间点识别出的具体信息
    details.info.score double 置信度得分
    details.info.position JSONObject 文字坐标
    details.info.position.leftTop int[] 左上角x，y坐标
    details.info.position.rightBottom int[] 右下角x，y坐标
    details.info.content String 识别出的文本内容

返回错误码

异常错误码 描述
MissingParameter 输入缺少必要参数

回调消息格式定义

当智能标签任务执行状态改变时，mps会发送消息到用户指定的queue中（如何指定回调queue详见mps的更新管道接口）。消息体是一个Json字符串，包含字段如下：

名称 类型 描述
Type String 固定字符串“smarttag”，表示智能标签任务
JobId String 任务唯一ID
State String 任务当前状态，与QuerySmarttagJob中的JobStatus一致
UserData String 用户在SubmitSmarttagJob中传入的UserData

示例

  • 请求示例 
    http://mts.cn-shanghai.aliyuncs.com?Action=QuerySmarttagJob&JobId=88c6ca184c0e47098a5b665e2a126797&<公共参数>
  • 返回示例
    JSON格式 
    {
  "UserData": "take back to me",
  "RequestId": "12DD436D-DAF5-4D53-A8A4-265EB986F06A",
  "JobStatus": "Success",
  "Results": {
    "Result": [
      {
        "Data": "{\"classifications\":[{\"category1\":\"资讯\",\"category2\":\"社会资讯\",\"score\":0.688}],\"message\":\"SUCCESS\",\"persons\":[{\"category\":\"politician\",\"name\":\"万立骏\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[455,51],\"rightBottom\":[1117,389]},\"scene\":\"medium-closeUp\",\"score\":0.972,\"timestamp\":4.56,\"to\":5.32},{\"from\":11.44,\"position\":{\"leftTop\":[663,126],\"rightBottom\":[1391,339]},\"scene\":\"medium-closeUp\",\"score\":0.925,\"timestamp\":12.44,\"to\":13.56},{\"from\":16.44,\"position\":{\"leftTop\":[567,78],\"rightBottom\":[1278,346]},\"scene\":\"medium-closeUp\",\"score\":0.941,\"timestamp\":17.08,\"to\":19.2},{\"from\":24.44,\"position\":{\"leftTop\":[609,100],\"rightBottom\":[1301,308]},\"scene\":\"medium-closeUp\",\"score\":0.958,\"timestamp\":26.2,\"to\":26.32},{\"from\":42.6,\"position\":{\"leftTop\":[742,147],\"rightBottom\":[1590,429]},\"scene\":\"medium-closeUp\",\"score\":0.963,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.252},{\"category\":\"politician\",\"name\":\"徐绍川\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[518,85],\"rightBottom\":[1220,429]},\"scene\":\"medium-closeUp\",\"score\":0.967,\"timestamp\":7.8,\"to\":7.92},{\"from\":30.2,\"position\":{\"leftTop\":[625,147],\"rightBottom\":[1309,370]},\"scene\":\"medium-closeUp\",\"score\":0.909,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.094},{\"category\":\"unknown\",\"name\":\"未知人脸1\",\"occurrences\":[{\"from\":26.44,\"position\":{\"leftTop\":[622,106],\"rightBottom\":[1322,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":26.44,\"to\":27.2}],\"ratio\":0.016},{\"category\":\"unknown\",\"name\":\"未知人脸2\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[1002,118],\"rightBottom\":[2129,385]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32}],\"ratio\":0.06},{\"category\":\"unknown\",\"name\":\"未知人脸3\",\"occurrences\":[{\"from\":42.6,\"position\":{\"leftTop\":[363,222],\"rightBottom\":[833,564]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸4\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[1113,192],\"rightBottom\":[2302,480]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":29.8,\"to\":30.08},{\"from\":30.2,\"position\":{\"leftTop\":[1160,206],\"rightBottom\":[2397,505]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.053},{\"category\":\"unknown\",\"name\":\"未知人脸5\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[86,54],\"rightBottom\":[313,286]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸6\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[899,109],\"rightBottom\":[1874,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":31.2}],\"ratio\":0.034},{\"category\":\"unknown\",\"name\":\"未知人脸7\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[346,264],\"rightBottom\":[786,642]},\"scene\":\"closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32},{\"from\":5.44,\"position\":{\"leftTop\":[837,202],\"rightBottom\":[1789,555]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92},{\"from\":16.44,\"position\":{\"leftTop\":[458,233],\"rightBottom\":[1001,575]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":17.08,\"to\":19.2}],\"ratio\":0.169},{\"category\":\"unknown\",\"name\":\"未知人脸8\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[326,162],\"rightBottom\":[768,486]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":5.8,\"to\":7.56}],\"ratio\":0.044}],\"success\":true,\"tags\":[{\"mainTagName\":\"场景\",\"occurrences\":[{\"from\":40.2,\"score\":0.776,\"to\":42.44}],\"ratio\":0.047,\"subTagName\":\"公寓\"}]}",
        "Type": "VideoLabel"
      },
      {
        "Data": "{\"message\":\"SUCCESS\",\"success\":true,\"tags\":[{\"name\":\"人物\",\"value\":\"习近平,万立骏\"},{\"name\":\"关键词\",\"value\":\"自治区,群众性,中国特色社会主义,慰问,中国梦,统战部,调研,总书记,南宁市,政治性,先进性\"},{\"name\":\"组织机构\",\"value\":\"党中央,中国侨联党组\"},{\"name\":\"地域\",\"value\":\"南宁市,中国\"}]}",
        "Type": "TextLabel"
      }
    ]
  }
}

SDK示例