AI 助理
文档备案控制台
官方文档
首页

商品热区识别

更新时间：
复制 MD 格式
我的收藏

商品热区识别是基于多模态大模型（MLLM）构建的商品定位能力，面向电商营销图、商品搭配图、模特穿搭图等图片热区生成场景。根据目标场景图和商品参考图，自动识别指定商品并定位其可见区域，输出商品名称及归一化边界框，可直接用于热区渲染、点击跳转和商品关联；未在参考图中明确展示的其他商品不会输出。同步调用，单次请求即返回结果。

能力试用请访问控制台：https://ecoa.console.aliyun.com/inspect/capabilities

1、产品简介

基于多模态视觉理解能力构建的商品热区识别产品，面向电商营销图、商品搭配图、模特穿搭图等图片中的商品定位场景。

产品根据调用方提供的目标场景图和商品参考图，自动识别参考图所代表的商品，并在目标场景图中定位对应商品的可见区域，输出商品名称及归一化边界框。目标图中出现但未在参考图中明确展示的其他商品不会被输出。

接口可直接对接商品详情页、营销素材平台、图片热区系统和商品关联推荐系统，支持客户根据返回的商品与边界框自行完成热区渲染、点击跳转及后续业务处理。

2、适用场景

  1. 电商营销图商品热区生成：在模特图、搭配图或营销合成图中自动定位参考商品，为图片生成可点击的商品购买热区。

  2. 商品穿搭关联：根据商品参考图，在模特穿搭图中识别对应的服装、鞋履、箱包、饰品等商品，并关联至对应商品信息。

  3. 多商品、多实例定位：同一组参考图包含多个商品时，分别返回每个商品的定位结果；同一商品在目标图中出现多个独立实例时，分别输出多个边界框。

3、功能介绍

  1. 参考商品自动解析：产品可根据一张或多张参考图自动识别本次需要定位的商品。同一商品的多角度图、细节图可自动合并；参考图中明确展示的多个独立商品可分别进入检测清单，调用方无需预先维护商品类型。

  2. 商品语义匹配与视觉定位：结合商品主体形态、颜色、材质、图案、标识及参考图中的文字信息，在目标场景图中核验商品身份，并输出商品可见区域的边界框。

  3. 结构化定位结果输出：输出统一为 Products[ ]，每个商品包含 ProductId、Label 和 Boxes[ ]。同一商品出现多个实例时返回多个 Box；商品未出现时返回空数组。

  4. 支持的输入格式：当前支持服务端可访问的 HTTPS 图片 URL。每次请求传入一张目标场景图和一组商品参考图；同一 Case 存在多张目标图时，每张目标图分别调用一次接口。

4、开发指南

4.1 请求参数

参数名

类型

必填

说明

ReqId

String

否

调用方自定义请求 ID，用于链路追踪。建议每张目标场景图使用唯一 ID。

TargetImageUrl

String

是

待识别目标场景图的 HTTPS URL。每次请求传入一张目标图。

ReferenceImageUrls

Array

是

商品参考图 HTTPS URL 列表。至少传入 1 张，最多传入 20 张。

4.2 请求示例

接口内部包含图片解析和商品定位处理，调用时建议将请求超时设置为不超过 260 秒。

{
  "ReqId": "case-01-target-01",
  "TargetImageUrl": "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/target/target-01.jpg",
  "ReferenceImageUrls": [
    "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/reference/reference-01.jpg",
    "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/reference/reference-02.jpg",
    "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/reference/reference-03.jpg",
    "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/reference/reference-04.jpg",
    "https://oss-xianxiaxunjian-poc.oss-cn-beijing.aliyuncs.com/images/hotspot-test-products-20260722/case-01/reference/reference-05.jpg"
  ]
}

图片要求：

  • 图片地址必须使用 HTTPS，且能够被服务端正常访问。

  • 支持 JPEG、PNG、WebP 等常见图片格式。

  • 建议单张图片不超过 2 MB。

  • 使用签名 URL 时，建议有效期不少于 30 分钟。

  • 同一 Case 存在多张目标场景图时，每张目标图分别调用一次，参考图列表可以复用。

4.3 响应参数

顶层共 1 个字段：

字段

类型

含义

说明

Products

Array

商品定位结果数组

内部结构见下表

Products 内部结构：

字段路径

类型

含义

关键约束

| Products[ ].ProductId | String | 本次请求内的商品唯一 ID | 形如 product_1、product_2 |

| Products[ ].Label | String | 根据参考图识别的商品名称 | 同一请求内保持稳定 |

| Products[ ].Boxes | Array | 商品在目标图中的可见实例 | 不存在时返回空数组 [ ] |

| Products[ ].Boxes[ ].Left | Number | 边界框左边界 | [0,1000] 归一化坐标 |

| Products[ ].Boxes[ ].Top | Number | 边界框上边界 | [0,1000] 归一化坐标 |

| Products[ ].Boxes[ ].Right | Number | 边界框右边界 | 必须大于 Left |

| Products[ ].Boxes[ ].Bottom | Number | 边界框下边界 | 必须大于 Top |

边界框坐标格式为：

[Left, Top, Right, Bottom]

坐标范围与方向约束：

0 <= Left < Right <= 1000
0 <= Top < Bottom <= 1000

客户侧可根据原图宽高将归一化坐标转换为像素坐标：

pixelLeft   = Left   / 1000 × imageWidth
pixelTop    = Top    / 1000 × imageHeight
pixelRight  = Right  / 1000 × imageWidth
pixelBottom = Bottom / 1000 × imageHeight

4.4 响应示例

1）多个商品均被识别

{
  "Products": [
    {
      "ProductId": "product_1",
      "Label": "米色金属链条装饰玛丽珍平底鞋",
      "Boxes": [
        {
          "Left": 280,
          "Top": 894,
          "Right": 475,
          "Bottom": 943
        },
        {
          "Left": 512,
          "Top": 894,
          "Right": 612,
          "Bottom": 947
        }
      ]
    },
    {
      "ProductId": "product_2",
      "Label": "粉色抽绳蝴蝶结腋下包",
      "Boxes": [
        {
          "Left": 530,
          "Top": 380,
          "Right": 712,
          "Bottom": 553
        }
      ]
    }
  ]
}

2）参考商品未出现在目标图中

{
  "Products": [
    {
      "ProductId": "product_1",
      "Label": "米色金属链条装饰玛丽珍平底鞋",
      "Boxes": [
        {
          "Left": 630,
          "Top": 785,
          "Right": 859,
          "Bottom": 956
        }
      ]
    },
    {
      "ProductId": "product_2",
      "Label": "粉色抽绳蝴蝶结腋下包",

      "Boxes": [ ]

    }
  ]
}

3）同一商品出现多个独立实例

{
  "Products": [
    {
      "ProductId": "product_1",
      "Label": "米色金属链条装饰玛丽珍平底鞋",
      "Boxes": [
        {
          "Left": 280,
          "Top": 894,
          "Right": 475,
          "Bottom": 943
        },
        {
          "Left": 512,
          "Top": 894,
          "Right": 612,
          "Bottom": 947
        }
      ]
    }
  ]
}

4）目标图存在参考图之外的其他商品

目标图中没有参考图证据的其他商品不会新增到返回结果中：

{
  "Products": [
    {
      "ProductId": "product_1",
      "Label": "POLO短袖上衣",
      "Boxes": [
        {
          "Left": 315,
          "Top": 212,
          "Right": 683,
          "Bottom": 664
        }
      ]
    }
  ]
}

4.5 错误码

https://help.aliyun.com/document_detail/3038043.html

4.6 百炼 Workflow 链接

待应用发布后补充。

5、计费方式

0.16元/次（暂定）

上一篇：地堆面积推理下一篇：物料检测