查询智能标签作业的状态与结果。结果包含视频中的人物、场景、关键词等等各种算法智能分析得到的数据。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 描述
Action String 操作接口名,系统规定参数,取值:QuerySmarttagJob
JobId String 智能标签任务ID

返回参数

名称 类型 描述
JobStatus String 任务状态,有以下值:Success:处理成功;Fail:处理失败;Processing:处理中;Submitted:已提交等待处理
Results Result[] 分析结果对象数组
Result.Type String 分析结果的类型,目前有以下几种类型:VideoLabel:视频标签,包括人物与场景;TextLabel:文本标签;ASR:语音识别原始结果(默认不返回);OCR:文字识别原始结果(默认不返回)
Result.Data String 分析结果的具体数据,以JSON字符串表示。不同Type的数据结构见下方定义
  • VideoLabel数据结构(来源于视频视觉信息)
    名称 类型 描述
    persons JSONArray 检测到的人物结果
    persons.name String 识别到的人物名称
    persons.category String 人物类型,取值如下:celebrity(名人);politician(政治人物);sensitive(敏感人物);custom(自定义人物);unknown(未知人物)
    persons.ratio double 人物出现率,取值:0~1
    persons.occurrences JSONArray 人物出场详细信息
    persons.occurrences.score double 置信度得分
    persons.occurrences.from double 检测到人物的起始时间,单位为秒
    persons.occurrences.to double 检测到人物的结束时间,单位为秒
    persons.occurrences.position JSONObject 人脸坐标
    persons.occurrences.position.leftTop int[] 左上角x,y坐标
    persons.occurrences.position.rightBottom int[] 右下角x,y坐标
    persons.occurrences.timestamp double 人脸坐标所在的时间戳,单位为秒
    persons.occurrences.scene String 人物镜头,包括:closeUp(特写);medium-closeUp(近景);medium(中景);medium-long(全景)
    tags JSONArray 检测到的物体场景等标签,详见下表举例
    tags.mainTagName String 主标签
    tags.subTagName String 子标签
    tags.ratio double 出现率,取值:0~1
    tags.occurrences JSONArray 出现详细信息
    tags.occurrences.score double 置信度得分
    tags.occurrences.from double 起始时间,单位秒
    tags.occurrences.to double 结束时间,单位秒
    classifications JSONArray 视频分类信息
    classifications.score double 置信度得分
    classifications.category1 String 一级分类,比如:生活、动漫、汽车等等
    classifications.category2 String 二级分类,比如生活下面细分为:健康、家居、女性等等
  • 视频tags标签举例说明
    mainTagName subTagName
    节目 比如:爸爸去哪儿、欢乐喜剧人等
    人物角色 比如:医生、护士、教师等
    物体 比如:钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
    标识 比如:CCTV1、CCTV2、优酷、东方卫视等
    动作事件 比如:跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等
    地域 比如:北京天安门、自由女神像、乐山大佛、中国、美国等
    场景 比如:卧室、地铁站、梯田、海滩、沙漠等
    表情 比如:生气、厌恶、恐惧、快乐、悲伤、惊讶、平静等
  • ImageLabel数据结构(来源于图片视觉信息)
名称 类型 描述
persons JSONArray 检测到的人物结果
persons.name String 识别到的人物名称
persons.category String 人物类型,取值如下:celebrity(名人);politician(政治人物);sensitive(敏感人物)
persons.score double 人物置信度得分
persons.position JSONObject 人脸坐标
persons.position.leftTop int[] 左上角x,y坐标
persons.position.rightBottom int[] 右下角x,y坐标
persons.scene String 人物镜头,包括:closeUp(特写);medium-closeUp(近景);medium(中景);medium-long(全景)
tags JSONArray 检测到的物体场景等标签,详见下表举例
tags.mainTagName String 主标签
tags.subTagName String 子标签
tags.score double 置信度得分
  • 图片tags标签举例说明
    mainTagName subTagName
    人物角色 比如:医生、护士、教师等
    地域 比如:北京天安门、自由女神像、乐山大佛、中国、美国等
    动作事件 比如:讲话等
    物体 比如:钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
    场景 比如:卧室、地铁站、梯田、海滩、沙漠等
  • TextLabel数据结构(来源于ASR和OCR)
    名称 类型 描述
    tags JSONArray 文本标签信息,详见下表举例
    tags.name String 标签类别
    tags.value String 标签值,可能有多个标签值,以英文逗号“,”分割
  • 文本tags标签举例说明
    name value
    地域 比如:北京天安门、自由女神像、乐山大佛、中国、美国等
    组织机构 比如:中国生动物保护协会、中央广播电视台等
    标识 比如:耐克、李宁
    关键词 比如:中坚力量、一国两制
  • ASR数据结构(默认不返回)
    名称 类型 描述
    details JSONArray 任务详细结果
    details.from double 开始时间戳,以秒为单位
    details.to double 结束时间戳,以秒为单位
    details.content String 识别出的文本内容
  • OCR数据结构(默认不返回)
    名称 类型 描述
    details JSONArray 任务详细结果
    details.timestamp double 时间戳信息,以秒为单位
    details.info JSONArray 该时间点识别出的具体信息
    details.info.score double 置信度得分
    details.info.position JSONObject 文字坐标
    details.info.position.leftTop int[] 左上角x,y坐标
    details.info.position.rightBottom int[] 右下角x,y坐标
    details.info.content String 识别出的文本内容

返回错误码

异常错误码 描述
MissingParameter 输入缺少必要参数

回调消息格式定义

当智能标签任务执行状态改变时,mps会发送消息到用户指定的queue中(如何指定回调queue详见mps的更新管道接口)。消息体是一个Json字符串,包含字段如下:

名称 类型 描述
Type String 固定字符串“smarttag”,表示智能标签任务
JobId String 任务唯一ID
State String 任务当前状态,与QuerySmarttagJob中的JobStatus一致
UserData String 用户在SubmitSmarttagJob中传入的UserData

示例

  • 请求示例
    http://mts.cn-shanghai.aliyuncs.com?Action=QuerySmarttagJob&JobId=88c6ca184c0e47098a5b665e2a126797&<公共参数>
  • 返回示例
    JSON格式
    {
      "UserData": "take back to me",
      "RequestId": "12DD436D-DAF5-4D53-A8A4-265EB986F06A",
      "JobStatus": "Success",
      "Results": {
        "Result": [
          {
            "Data": "{\"classifications\":[{\"category1\":\"资讯\",\"category2\":\"社会资讯\",\"score\":0.688}],\"message\":\"SUCCESS\",\"persons\":[{\"category\":\"politician\",\"name\":\"万立骏\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[455,51],\"rightBottom\":[1117,389]},\"scene\":\"medium-closeUp\",\"score\":0.972,\"timestamp\":4.56,\"to\":5.32},{\"from\":11.44,\"position\":{\"leftTop\":[663,126],\"rightBottom\":[1391,339]},\"scene\":\"medium-closeUp\",\"score\":0.925,\"timestamp\":12.44,\"to\":13.56},{\"from\":16.44,\"position\":{\"leftTop\":[567,78],\"rightBottom\":[1278,346]},\"scene\":\"medium-closeUp\",\"score\":0.941,\"timestamp\":17.08,\"to\":19.2},{\"from\":24.44,\"position\":{\"leftTop\":[609,100],\"rightBottom\":[1301,308]},\"scene\":\"medium-closeUp\",\"score\":0.958,\"timestamp\":26.2,\"to\":26.32},{\"from\":42.6,\"position\":{\"leftTop\":[742,147],\"rightBottom\":[1590,429]},\"scene\":\"medium-closeUp\",\"score\":0.963,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.252},{\"category\":\"politician\",\"name\":\"徐绍川\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[518,85],\"rightBottom\":[1220,429]},\"scene\":\"medium-closeUp\",\"score\":0.967,\"timestamp\":7.8,\"to\":7.92},{\"from\":30.2,\"position\":{\"leftTop\":[625,147],\"rightBottom\":[1309,370]},\"scene\":\"medium-closeUp\",\"score\":0.909,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.094},{\"category\":\"unknown\",\"name\":\"未知人脸1\",\"occurrences\":[{\"from\":26.44,\"position\":{\"leftTop\":[622,106],\"rightBottom\":[1322,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":26.44,\"to\":27.2}],\"ratio\":0.016},{\"category\":\"unknown\",\"name\":\"未知人脸2\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[1002,118],\"rightBottom\":[2129,385]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32}],\"ratio\":0.06},{\"category\":\"unknown\",\"name\":\"未知人脸3\",\"occurrences\":[{\"from\":42.6,\"position\":{\"leftTop\":[363,222],\"rightBottom\":[833,564]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":43.6,\"to\":45.08}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸4\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[1113,192],\"rightBottom\":[2302,480]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":29.8,\"to\":30.08},{\"from\":30.2,\"position\":{\"leftTop\":[1160,206],\"rightBottom\":[2397,505]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":32.24}],\"ratio\":0.053},{\"category\":\"unknown\",\"name\":\"未知人脸5\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[86,54],\"rightBottom\":[313,286]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92}],\"ratio\":0.051},{\"category\":\"unknown\",\"name\":\"未知人脸6\",\"occurrences\":[{\"from\":29.56,\"position\":{\"leftTop\":[899,109],\"rightBottom\":[1874,317]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":30.92,\"to\":31.2}],\"ratio\":0.034},{\"category\":\"unknown\",\"name\":\"未知人脸7\",\"occurrences\":[{\"from\":2.44,\"position\":{\"leftTop\":[346,264],\"rightBottom\":[786,642]},\"scene\":\"closeUp\",\"score\":-1.0,\"timestamp\":4.56,\"to\":5.32},{\"from\":5.44,\"position\":{\"leftTop\":[837,202],\"rightBottom\":[1789,555]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":7.8,\"to\":7.92},{\"from\":16.44,\"position\":{\"leftTop\":[458,233],\"rightBottom\":[1001,575]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":17.08,\"to\":19.2}],\"ratio\":0.169},{\"category\":\"unknown\",\"name\":\"未知人脸8\",\"occurrences\":[{\"from\":5.44,\"position\":{\"leftTop\":[326,162],\"rightBottom\":[768,486]},\"scene\":\"medium-closeUp\",\"score\":-1.0,\"timestamp\":5.8,\"to\":7.56}],\"ratio\":0.044}],\"success\":true,\"tags\":[{\"mainTagName\":\"场景\",\"occurrences\":[{\"from\":40.2,\"score\":0.776,\"to\":42.44}],\"ratio\":0.047,\"subTagName\":\"公寓\"}]}",
            "Type": "VideoLabel"
          },
          {
            "Data": "{\"message\":\"SUCCESS\",\"success\":true,\"tags\":[{\"name\":\"人物\",\"value\":\"习近平,万立骏\"},{\"name\":\"关键词\",\"value\":\"自治区,群众性,中国特色社会主义,慰问,中国梦,统战部,调研,总书记,南宁市,政治性,先进性\"},{\"name\":\"组织机构\",\"value\":\"党中央,中国侨联党组\"},{\"name\":\"地域\",\"value\":\"南宁市,中国\"}]}",
            "Type": "TextLabel"
          }
        ]
      }
    }
                    

SDK示例