PAI提供多种已经训练好的图像智能类模型供您使用,包括通用图像分类模型、通用图像检测模型、图像语义分割模型及图像实例分割模型。

通用图像分类模型

  • 模型介绍

    基于ImageNet数据集训练的图像分类模型,该模型采用ResNet,详情请参见Deep Residual Learning for Image Recognition

  • 输入格式
    输入数据为JSON格式字符串,包含image字段,对应的value为图片内容的Base 64编码。
    {
      "image": "图像文件内容的Base 64编码"
    }
  • 输出格式
    输出数据为JSON格式字符串,包含的字段如下表所示。
    字段 描述 Shape Type
    class 类别ID [] INT32
    class_name 类别名称 [] STRING
    class_probs 所有类别概率 [num_classes] Dict[STRING, FLOAT]
    request_id 请求的唯一标识 [] STRING
    success 请求是否成功 [] BOOL
    error_code 请求错误码 [] INT
    error_msg 请求错误信息 [] STRING
    输出数据的示例如下。
    {
    "class": 3,
    "class_name": "coho4",
    "class_probs": {"coho1": 4.028851974258174e-10,
              "coho2": 0.48115724325180054,
              "coho3": 5.116515922054532e-07,
              "coho4": 0.5188422446937221},
     "request_id": "9ac294a4-f387-4c48-b640-d2c6d41fcbee",
     "success": true
    }
  • 测试数据

    下载通用图像分类模型的测试数据

通用图像检测模型

  • 模型介绍

    模型采用Faster R-CNN,详情请参见Towards Real-Time Object Detection with Region Proposal Networks。训练数据集为COCO。

  • 输入格式
    输入数据为JSON格式字符串,包含image字段,对应的value为图片内容的Base 64编码。
    {
      "image": "图像文件内容的Base 64编码"
    }
  • 输出格式
    输出数据为JSON格式字符串,包含的字段如下表所示。
    字段 描述 Shape Type
    detection_boxes 检测到的目标框[y1, x1, y2,x2],其坐标顺序为[top, left, bottom, right] [num_detections, 4] FLOAT
    detection_scores 目标检测概率。 num_detections FLOAT
    detection_classes 目标区域类别ID。 num_detections INT
    detection_class_names 目标区域类别名称。 num_detections STRING
    request_id 请求的唯一标识。 [] STRING
    success 请求是否成功。 [] BOOL
    error_code 请求错误码。 [] INT
    error_msg 请求错误信息。 [] STRING
    输出数据的示例如下。
    {
      "detection_boxes": [[243.5308074951172, 197.69570922851562, 385.59625244140625, 247.7247772216797], [292.1929931640625, 114.28043365478516, 571.2748413085938, 165.09771728515625]],
      "detection_scores": [0.9942291975021362, 0.9940272569656372],
      "detection_classes": [1, 1],
      "detection_classe_names": ["text", "text"],
      "request_id": "9ac294a4-f387-4c48-b640-d2c6d41fcbee",
      "success": true
     }
  • 测试数据

    下载通用图像检测模型的测试数据

图像语义分割模型

  • 模型介绍

    模型采用DeepLab V3,详情请参见Rethinking Atrous Convolution for Semantic Image Segmentation。训练数据集为Pascal_Voc。

  • 输入格式
    输入数据为JSON格式字符串,包含image字段,对应的value为图片内容的Base 64编码。
    {
      "image": "图像文件内容的Base 64编码"
    }
  • 输出格式
    输出数据为JSON格式字符串,包含的字段如下表所示。
    字段 描述 Shape Type
    probs 分割像素点概率 [output_height, output_width] FLOAT
    preds 分割像素类别ID [output_height, output_widths] INT
    request_id 请求的唯一标识 [] STRING
    success 请求是否成功 [] BOOL
    error_code 请求错误码 [] INT
    error_msg 请求错误信息 [] STRING
    输出数据的示例如下。
    {
      "probs" : [[[0.8, 0.8], [0.6, 0.7]],[[0.8, 0.5], [0.4, 0.3]]],
      "preds" : [[1,1], [0, 0]],
       "request_id": "9ac294a4-f387-4c48-b640-d2c6d41fcbee",
       "success": true
    }
  • 测试数据

    下载图像语义分割模型的测试数据

图像实例分割模型

  • 模型介绍

    模型采用Mask R-CNN,详情请参见Mask R-CNN。训练数据集为COCO。

  • 输入格式
    输入数据为JSON格式字符串,包含image字段,对应的value为图片内容的Base 64编码。
    {
      "image": "图像文件内容的Base 64编码"
    }
  • 输出格式
    输出数据为JSON格式字符串,包含的字段如下表所示。
    字段 描述 Shape Type
    detection_boxes 检测到的目标框[y1, x1, y2,x2],其坐标顺序为[top, left, bottom, right] [num_detections, 4] FLOAT
    detection_scores 目标检测概率。 num_detections FLOAT
    detection_classes 目标区域类别ID。 num_detections INT
    detection_class_names 目标区域类别名称。 num_detections STRING
    detection_masks 目标区域的Mask。 [num_detections, image_height, image_width] BOOL
    request_id 请求的唯一标识。 [] STRING
    success 请求是否成功。 [] BOOL
    error_code 请求错误码。 [] INT
    error_msg 请求错误信息。 [] STRING
    输出数据的示例如下。
    {
      "detection_boxes": [[243.5308074951172, 197.69570922851562, 385.59625244140625, 247.7247772216797], [292.1929931640625, 114.28043365478516, 571.2748413085938, 165.09771728515625]],
      "detection_scores": [0.9942291975021362, 0.9940272569656372],
      "detection_classes": [1, 1],
      "detection_classe_names": ["text", "text"],
      "detection_masks": [[[1,1], [0, 0]], [[0,1], [1, 1]]],
       "request_id": "9ac294a4-f387-4c48-b640-d2c6d41fcbee",
       "success": true
     }
  • 测试数据

    下载图像实例分割模型的测试数据