QuerySmarttagJob - 查询智能标签作业

回调消息格式定义

当智能标签任务执行状态改变时，mps会发送消息到用户指定的queue中（如何指定回调queue详见mps的更新管道接口）。消息体是一个JSON字符串，包含字段如下：

Result参数说明

VideoLabel数据结构

视频Tags标签举例说明

ImageLabel数据结构

图片tags标签举例说明

TextLabel数据结构（来源于ASR和OCR）

图片tags标签举例说明

CPVLabel数据结构

• cates：类目（一级类目、二级类目、三级类目）
• entities：类目属性（带有知识图谱信息）
• hotwords：热点词（用户关注的名单）
• freeTags：自由标签（关键词）

语音识别ASR结果

文本识别OCR结果

Meta标注结果

字幕提取结果Subtitle

输出信息的解析

下面分name的值来说明字段： name = 'tag' //融合标签结果

name = 'sbd'//拆条识别结果

name = 'asr'//语音识别结果

name = 'ocr'//OCR文本识别结果

name = 'video_ocr'//VideoOCR文本识别结果

[
  {
    "name": "tag",//结果分类，分为tag、ocr、asr和sbd。分别对应标签结果、OCR结果、语音结果和拆条结果
    "result": [//结果值
      {
        "content": {
          "data": [
            {
              "labelLevel1": "人脸",//标签一级分类
              "labelLevel2": "政治人物",//标签二级分类
              "label": "李命名",//标签值
              "appearanceProbability":0.3547,//出场率
              "isWhite":true, //是否命中白名单
              "labelId": "0010014169",
              "knowledgeInfo":{},
              "detailInfo": [//标签详细信息
                {
                  "score": 0.85797792673110962,//标签置信度，部分标签置信度会不存在，不存在置信度时统一设置为-1. 比如挖掘出来的未知人脸的score分数为-1
                  "trackData": [
                      {
                        "score": 0.91240006685256958,
                        "bbox": [205.0, 95.0, 318.0, 247.0],
                        "attributes": [
                          {
                            "property":"表情",
                            "value":"笑",
                            "score": 0.8765
                          }
                        ],
                        "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
                        "timestamp": 35.333000//时间点
                      },
                      {
                        "score": 0.91240006685256958,
                        "bbox": [201.0, 95.0, 314.0, 247.0],
                        "attributes": [
                          {
                            "property":"表情",
                            "value":"笑",
                            "score": 0.8765
                          }
                        ],
                        "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
                        "timestamp": 35.466000
                      }
                  ],
                  "startTime": 35.0,//片段开始时间
                  "endTime": 35.465999603271484,//片段结束时间
                  "source": "vision",//标签来源，分为vision：视觉， text：文字，audio：语音
                  "subSource": "facemot",//标签子来源
                  "metaData": {//标签meta信息，不同的标签meta内容不同。
                    "sampleUrl": "",//人像的图片地址
                    "group": "politicians"//人像的图库名称
                  }
                },
                {
                  "score": 0.85797792673110962, 
                  "trackData": [
                      {
                        "score": 0.91240006685256958,
                        "bbox": [205.0, 95.0, 318.0, 247.0],
                        "attributes": [
                          {
                            "property":"表情",
                            "value":"笑",
                            "score": 0.8765
                          }
                        ],
                        "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
                        "timestamp": 35.333000
                      },
                      {
                        "score": 0.91240006685256958,
                        "bbox": [201.0, 95.0, 314.0, 247.0],
                        "attributes": [
                          {
                            "property":"表情",
                            "value":"笑",
                            "score": 0.8765
                          }
                        ],
                        "landmark": [205.0, 95.0, 318.0, 247.0, 205.0, 95.0, 318.0, 247.0, 435.0, 435.0],
                        "timestamp": 35.466000
                      }
                  ],
                  "startTime": 35.0,
                  "endTime": 35.465999603271484,
                  "source": "text",
                  "subSource": "ocr_nlp",
                  "metaData": {
                    "sampleUrl": "",
                    "group": ""
                  }
                }
              ]
            },
            {
              "labelLevel1": "视频分类",
              "labelLevel2": "资讯",
              "label": "时政资讯",
              "labelId": "0100252",
              "detailInfo": [
                {
                  "score": 0.85797792673110962,
                  "bboxes": {},
                  "trackData": [],
                  "startTime": 0,
                  "endTime": 35.465999603271484,
                  "source": "vision",
                  "subSource": "cate",
                  "metaData": {
                    "sampleUrl": "",
                    "group": ""
                  }
                },
                {
                  "score": 0.85797792673110962,
                  "bboxes": {},
                  "trackData": [],
                  "startTime": 0,
                  "endTime": 35.465999603271484,
                  "source": "text",
                  "subSource": "ocr_nlp",
                  "metaData": {
                    "sampleUrl": "",
                    "group": ""
                  }
                }
              ]
            }
          ]
        }
      }
    ]
  },
  {
    "name": "sbd",//结果分类，分为tag、ocr、asr和sbd。分别对应标签结果、OCR结果、语音结果和拆条结果
    "result": [//结果值
      {
        "content": {
          "data": [
            {
              "index": 0, 
              "score": 0.9675695300102234, 
              "timestamp": 10.16 # 第一个片段终止时间
            }, 
            {"index": 1, 
              "score": 0.9833308458328247, 
              "timestamp": 12.64 # 第二个片段终止时间
            }
          ]
        }
      }
    ]
  },
  {
    "name": "ocr",//OCR结果
    "result": [
      {
        "content": {
          "data": [
            {
              "detailInfo": [
                {
                  "score": 99,//OCR置信度
                  "bbox": [//OCR文本位置信息
                    434,
                    31,
                    464,
                    43
                  ],
                  "text": "今天"//文本信息
                }
              ],
              "startTime": 0.0,//文本出现的帧的开始时间
              "endTime": 0.0 //文本出现的帧的结束时间
            }
          ]
        }
      }
    ]
  },
  {
    "name": "video_ocr",//video_ocr结果
    "result": [
      {
        "content": {
          "data": [
            {
              "detailInfo": [
                {
                  "score": 0.99,//OCR置信度
                  "bbox": [//OCR文本位置信息
                    434,
                    31,
                    464,
                    43
                  ],
                  "pos": [//OCR文本位置信息
                      {
                        "x": 166,
                        "y": 660
                      },
                      {
                        "x": 822,
                        "y": 660
                      },
                      {
                        "x": 822,
                        "y": 682
                      },
                      {
                        "x": 166,
                        "y": 682
                      }
                    ],
                  "text": "今天",//文本信息
                  "text_type": 2//文本类型（0-正常字幕，1-滚动字幕，2-定长标识性字幕（持续时间大于3s以上））
                }
              ],
              "startTime": 0.0,//文本出现的帧的开始时间
              "endTime": 0.0 //文本出现的帧的结束时间
            }
          ]
        }
      }
    ]
  },
  {
    "name": "asr",//语音结果
    "result": [
      {
        "content": {
          "data": [
            {
              "text": "这个时候",//语音文本
              "startTime": 108.7699966430664, //语音文本开始时间
              "endTime": 110.79000091552734 //语音文本结束时间
            },
            {
              "text": "你不要着急。",//语音文本
              "startTime": 108.7699966430664,//语音文本开始时间
              "endTime": 110.79000091552734 //语音文本结束时间
            }
          ]
        }
      }
    ]
  }
]