背景介绍
多主体识别介绍：
图像搜索的多主体识别是指在图像搜索任务中，系统能够识别并理解图像中存在的多个主体（物体、人物、场景等）。多主体识别技术使得搜索引擎不仅能够找到包含单一物体的图像，还能够识别和检索出包含多个相关物体的复杂图像。
在实际应用中，这意味着当用户对某一图像进行搜索时，搜索引擎可以通过分析图像的视觉内容，判断出图像中所有显著的元素，并将这些信息用于搜索匹配。例如下图，头盔、骑行服、自行车、骑行手套都是该图片中的主体，向量检索版启用了多主体识别可以同时识别这些元素，并根据用户的查询提供相关的搜索结果。
多主体识别对于提高图像搜索的准确性和相关性非常重要，尤其是在复杂的搜索场景中，用户希望根据多个不同特征找到相关图像时。通过识别图像中的多个主体，搜索引擎可以更好地理解用户的搜索意图，并提供更精确的结果。
向量检索版的主体识别：
向量检索版的主体识别通过两个参数进行控制：
crop：在图片搜索过程中是否需要对上传图片进行主体识别
主体识别方式（range）：range表示主体在图片中的区域，四个数分别表示主体区域左上角点的(x, y)坐标，宽度width，高度height
由系统自动进行主体识别，以识别的主体进行搜索，主体识别结果可以在Response中获取
自定义主体区域：可自定义主体识别区域。格式为x1,y1,x2,y2，四个数分别表示主体区域左上角点的(x, y)坐标，宽度width，高度height。若不设置自定义主体区域，则以识别出最大的主体进行搜索。
适用场景
多主体识别适用于单张图片中包含多个主体、且需要针对其中某一主体进行检索的图像搜索场景。
电商零售
街拍服饰搜索：用户上传一张街拍照片，大模型识别出图中包含的上衣、裤子、鞋子、挎包等主体，用户点击指定主体后调用商家商品库搜索相似款，返回商品列表与购买链接。
内容安全
UGC 图片违规审核：用户上传一张图片，大模型识别出图中包含的人物、物品、文字水印、二维码等主体，审核人员点击可疑主体后调用违规特征库比对，判断是否命中违禁品或敏感人物。
餐饮健康
多菜品识别与搜索：用户拍摄一张餐桌照片，大模型识别出图中包含的各道菜品主体，用户点击指定菜品后调用菜谱或营养数据库搜索，返回菜品热量、营养成分、做法等信息。
前提条件与参数要求
版本要求：自引擎版本1.5.13起，建表时支持选择图片主体识别模型。
建表配置：创建表时在数据处理模板中选择图片主体识别+图片向量化，系统将自动生成图片主体识别与图片向量化两个服务，配置方法参见配置融合向量。主体识别服务支持选择以下AI搜索开放平台模型：
模型 | 说明 | 适用场景 |
通用目标检测（ops-object-detect-001） | 由阿里云OpenSearch-AI团队自研的多主体检测模型，可检测图片中多个独立主体，输出主体位置框及置信分。 | 通用多主体图搜 |
人脸检测（ops-object-detect-face-001） | 检测图片中的人脸区域。 | 人像、人脸检索 |
服饰目标检测（ops-object-detect-fashion-001） | 检测图片中的服饰类主体。 | 服饰电商图搜 |
主体识别模型调用AI搜索开放平台服务，配置时需填写API Key并确认计费提示，计费详情参见AI搜索开放平台计费方式和计费项。
查询参数：
crop：是否对上传图片进行主体识别。设置crop=true且未指定range时，系统先执行主体识别，并以识别结果进行搜索。
range：自定义主体区域，格式为x,y,width,height。识别到多个主体时，默认以第一个主体区域作为裁剪区域进行检索；响应中返回全部识别主体的位置框与置信度等元数据，可据此绘框或选择其他主体再次查询。
图片输入格式：支持公网HTTP/HTTPS URL、Base64编码与data URI，且仅支持JPEG（.jpg、.jpeg）与PNG（.png）格式。
图片真实格式依据文件签名与解码结果判断，不依赖URL后缀或HTTP Content-Type；BMP、WebP、GIF、TIFF、HEIF/HEIC、SVG等格式暂不支持。
行为说明：单次查询仅生成一个查询向量并执行一次向量检索；主体识别结果（位置框与置信分）在响应中返回，可在控制台查询测试页以编号检测框形式查看并切换主体。
配置实例
详细的配置步骤，可参考《端到端图搜解决方案》中的环境准备、购买实例、配置实例几个步骤。
效果测试
在控制台中的查询测试页里，选择表名、query类型选择图片，图片提供方式选择上传图片文件，开启多主体识别：
其中表名选择 multi_images_tb，索引名称选择 source_image_vector，TopK设置为 10，结果排列顺序选择 ASC，上传一张待搜索的图片后单击搜索。
可在搜索结果中查看，主体识别的结果：
上传的图片上以蓝色编号检测框标注出识别到的不同主体（如编号1标注人脸区域，编号2标注手持物品区域），点击识别框序号可切换不同主体进行搜索。右侧展示对应主体的搜索结果表格，包含距离分、主键、向量值、属性、命名空间等列。