陈列检测

1. 产品简介

陈列检测是基于多模态大模型（MLLM）+ 视觉向量召回构建的门店商品陈列智能识别能力，面向线下零售 / 渠道门店的货架 / 地堆陈列巡检场景。产品对门店实拍的货架图、地堆图，先用多模态大模型检测出每个商品的边界框与初步名称，再以客户专属 SKU 向量库做相似度召回，把每个商品精确匹配到客户自有的 SKU，输出可直接对接业务系统的逐商品结构化结果。适用于总部对线下门店陈列的远程稽核、SKU 铺货核验、陈列合规巡检等大规模、高并发的视觉识别流水线。

2. 适用场景

• 货架 / 地堆陈列识别盘点：识别一张货架 / 地堆图上的每个商品，并匹配到客户 SKU 库，输出逐商品清单（商品名 + 位置 + 相似度），替代人工逐个清点。

• 铺货核验 / SKU 合规：核验门店是否按总部要求陈列指定 SKU、是否存在缺货或错放，支撑大促 / 新品期的批量自动核验。

• 客户专属 SKU 库：客户自助上传自有 SKU 标准图，建立专属向量库（按 RagId 隔离）；识别时只在该客户库内召回，保证名称精确、客户间数据隔离。

3. 功能介绍

• 检测 + 召回两阶段协同：多模态大模型在整图上检测出每个商品框与初步名（语义级理解，适配密集陈列、部分遮挡）；再用视觉 embedding 向量在客户 SKU 库内做相似度检索，用 top1 的精确 SKU 名覆盖初步名，兼顾召回率与名称准确率。

• 专属向量库隔离召回：按 RagId 维护每个客户的专属 SKU 向量库，识别只在对应库内检索，客户间严格隔离；新增 / 更新 SKU 实时生效。

• 逐商品结构化输出：输出统一为 Result.Items[ ]，每个商品独立给出边界框、召回 SKU 名、SKU 编码、相似度分，便于直接驱动下游盘点 / 核验系统，并支持 case 级人审追溯。

• 支持的输入格式：当前支持公网或 OSS 可访问的图像 URL；单张货架 / 地堆图即可识别，输出结构统一。

• 自定义规则（Rule）支持：支持用户通过传入自定义 Prompt（Rule 字段）下发独立规则分支，满足灵活的业务定制需求。

请求说明

• 当 ApiId 不为空时，Type 和 RagId 可以不填，系统将直接回填 ApiId 的默认值。

• 当 ApiId 为空时，Type 和 RagId 均为必填项，否则会报错。

• 当传入 Rule 时，将走独立规则分支，此时不需要传 Type。

请求示例

{
  "ImageUrl": "https://xxx.com/shelf_photo.jpg",
  "Type": "水乳",
  "RagId": "cust_8001_skincare",
  "ApiId": "XXXXXX"
}

1. 顶层字段

2. Result 内部结构 (Data.Result)

命名说明：Sku_name / Sku_Id 与知识库建库侧字段保持一致，便于下游对账；其余字段沿用平台既有的大驼峰风格（Idx / Bbox / Score / Error 等）。

单框 Error 枚举：

1. 正常识别 —— 多商品命中召回

{
  "Data": {
    "UsageMap": { "ProcessingCount": 1 },
    "Result": {
      "RagId": "cust_8001_skincare",
      "BoxCount": 3,
      "RecalledCount": 3,
      "Items": [
        { "Idx": 0, "Bbox": [120.5, 88.0, 240.0, 360.5], "Sku_name": "某品牌 舒缓保湿水 200ml", "Sku_Id": "a1b2c3d4", "Score": 0.873, "Error": null },
        { "Idx": 1, "Bbox": [240.0, 90.0, 360.0, 362.0], "Sku_name": "某品牌 舒缓保湿乳 150ml", "Sku_Id": "e5f6g7h8", "Score": 0.802, "Error": null },
        { "Idx": 2, "Bbox": [360.0, 92.0, 480.0, 364.0], "Sku_name": "某品牌 水乳套装 200ml+150ml", "Sku_Id": "m3n4o5p6", "Score": 0.781, "Error": null }
      ]
    }
  },
  "RequestId": "65B3FEBD-43B4-1195-9285-C814C767B641",
  "Message": "Success",
  "Code": "success",
  "Success": true
}

2. 部分框异常 —— 个别框召回失败 / 低分，整体仍返回 200

{
  "Data": {
    "UsageMap": { "ProcessingCount": 1 },
    "Result": {
      "RagId": "cust_8001_skincare",
      "BoxCount": 3,
      "RecalledCount": 1,
      "Items": [
        { "Idx": 0, "Bbox": [120.5, 88.0, 240.0, 360.5], "Sku_name": "某品牌 舒缓保湿水 200ml", "Sku_Id": "a1b2c3d4", "Score": 0.861, "Error": null },
        { "Idx": 1, "Bbox": [0, 0, 0, 0], "Sku_name": "", "Sku_Id": "", "Score": null, "Error": "invalid_bbox" },
        { "Idx": 2, "Bbox": [360.0, 92.0, 480.0, 364.0], "Sku_name": "", "Sku_Id": "", "Score": null, "Error": "embed_failed" }
      ]
    }
  },
  "RequestId": "7B2EECC1-ABEC-1B84-956A-A452217A18C9",
  "Message": "Success",
  "Code": "success",
  "Success": true
}

3. 未识别到商品 —— 空货架 / 非货架图

{
  "Data": {
    "UsageMap": { "ProcessingCount": 1 },
    "Result": {
      "RagId": "cust_8001_skincare",
      "BoxCount": 0,
      "RecalledCount": 0,

      "Items": [ ]

    }
  },
  "RequestId": "C77486A5-9BA2-1FDE-90CD-C5423DAE57AD",
  "Message": "Success",
  "Code": "success",
  "Success": true
}

4. 库不存在 / 为空 —— 整体报错

{
  "Data": null,
  "RequestId": "150F10E9-CF63-1849-91C8-BE8B41D37C13",
  "Message": "rag library not found or empty: cust_8001_skincare",
  "Code": "RagNotFound",
  "Success": false
}