调用API实现文本与图像的多模态排序-智能开放搜索 OpenSearch-阿里云

阿里云 OpenSearch AI 自研的多模态重排序模型，支持 Query 与 Doc 以文本或者图像形式输入，输出 [0,1] 区间内的相关性分数，分数越高表示相关性越强。

服务名称

服务ID

服务描述

API调用QPS限制（含主账号与RAM子账号）

多模态排序

ops-mm-reranker-001

提供图像的相关性排序服务，在RAG及多模态搜索场景中，可通过排序服务找到相关性更高的内容并依次返回，引入排序服务可有效提升检索及大模型生成的准确率。

说明

如需扩充QPS，请通过工单联系技术支持协助。

前提条件

获取身份鉴权信息
通过API调用AI搜索开放平台服务时，需要对调用者身份进行鉴权，如何获取鉴权信息请参见获取API-KEY。
获取服务调用地址
支持通过公网和VPC两种方式调用服务，详情请参见获取服务接入地址。

请求说明

公共说明

请求body最大不能超过8MB。

请求方式

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/multi-modal-reranker/{service_id}

参数说明：

host：调用服务的地址，支持通过公网和VPC两种方式调用API服务，可参见获取服务接入地址。
workspace_name：工作空间名称，例如default。
service_id：系统内置服务id，例如ops-mm-reranker-001。

请求参数

Header参数

API-KEY认证

参数	类型	必填	描述	示例值
Content-Type	String	是	请求类型：application/json	application/json
Authorization	String	是	API-Key	Bearer OS-d1**2a

Body参数

参数	类型	必填	描述	示例值
service_id	String	是	服务ID，以“ops-”开头。	ops-mm-reranker-001
query	ContentObject	是	查询内容，必须提供 `text` 或 `image` 中的至少一项，且二者不能同时存在，也不允许两者均为空。	`{ "text":"科学技术是第一生产力" }`
docs	List[ContentObject]	是	支持输入多条信息，每次请求最多支持 100 条。	`[ { "text":"科学技术是第一生产力" }, { "image":"http://***/a.jpg" } ]`
options	OptionObject	否	输入内容包含图片时，options用于设置图片的resize配置。

ContentObject

参数

类型

必填

描述

示例值

text

String

否

文本信息

{
  "text":"文本输入"
}

image

String

否

图片信息，支持URL或者base64 encode后的信息

如果是URL，则必须是可以访问的。
图片使用BASE64数据：将编码后的BASE64数据传递给image参数。

{
  "image":"http://xxxxx/a.jpg"
}

或者

{
  "image":"/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAoHCB..."
}

OptionObject

参数

类型

必填

描述

示例

resize_method

String

否

描述图片缩放处理的方法：

default：模型内置默认的缩放处理
none：不进行缩放
fixed_size：将图片缩放到指定大小，具体大小可以通过resize_options设置。
proportional_scaling：在保持图片宽高比的前提下，将其缩放到指定的像素范围。

fixed_size

resize_options

Object

否

设置图片缩放对应的参数，目前只有在resize_method为fixed_size和proportional_scaling时需要设置该参数。

resize_method为fixed_size时，通过resize_options设置：

{
    "width": 224,   // 单位：像素，缩放后的图片宽度
    "height": 224   //单位：像素，缩放后的图片高度 
{

resize_method为proportional_scaling时，通过resize_options设置：

{
    "min_pixels": 409600,   // 单位：像素，缩放后的图片的最小像素
    "max_pixels": 1638400   //单位：像素，缩放后的图片的最大像素
}

返回参数

参数	类型	描述	示例值
request_id	String	系统对一次API调用赋予的唯一标识。	A5B25952-4406-45BF-99EC-E8020246****
latency	Float/Int	请求耗时，单位ms。	10
usage.doc_count	Int	本次请求输入的文档数量。	2
result.scores	List<score>	按分数由高到低对Doc进行排序的结果。	`{ "request_id": "1b87e3c462079a32999a7c8bc173ca7a", "latency": 1765, "usage": { "image_token": 1225, "text_token": 16 }, "result": { "scores": [ { "index": 0, "score": 0.9183856248855591 } ] } }`
result.scores[].index	Int	排在当前位置的Doc的下标。	1
result.scores[].score	Float	结果分数，值越大表示相关性越高。	0.99

Curl请求示例

curl --location 'http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/multi-modal-reranker/ops-mm-reranker-001/' \
--header 'Authorization: Bearer 您的API-KEY' \
--header 'Content-Type: application/json' \
--data '{
  "query": {
    "text": "图片上有蛋糕吗"
  },
  "docs": [
    {
      "image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250408/syuvxh/%E7%89%A9%E4%BD%93%E5%AE%9A%E4%BD%8D.png"
    }
  ]
}'

响应示例

正常响应示例

{
  "request_id": "1b87e3c462079a32999a7c8bc173ca7a",
  "latency": 1765,
  "usage": {
    "image_token": 1225,
    "text_token": 16
  },
  "result": {
    "scores": [
      {
        "index": 0,
        "score": 0.9183856248855591
      }
    ]
  }
}

状态码说明

请参见AI搜索开放平台状态码说明。