多模态排序

AI搜索开放平台支持通过SDK的方式调用阿里云OpenSearch AI自研多模态重排序模型,支持 Query 与 Doc 以文本或者图像形式输入,输出 [0,1] 区间内的相关性分数,分数越高表示相关性越强。

准备工作

为确保 SDK 能正常调用服务,请在使用前完成必要的准备工作,包括配置运行环境及获取服务访问所需的认证与接入信息。

参数说明

  • 请求体body最大不能超过8MB。

  • 更多参数说明请参见多模态排序

from alibabacloud_tea_openapi.models import Config
from alibabacloud_searchplat20240529.client import Client
from alibabacloud_searchplat20240529.models import GetMultiModalRankRequest, GetMultiModalRankResponse

if __name__ == '__main__': 
    # token配置,endpoint配置
    config = Config(bearer_token="替换为您的API-KEY",
                    # endpoint: 配置统一的请求入口 需要去掉http://
                    endpoint="替换API访问地址",
                    # 支持 protocol 配置 HTTPS/HTTP
                    protocol="http")
    client = Client(config=config)
    
    request = GetMultiModalRankRequest()
    request.from_map({"query":{"text":"open search支持通过sdk调用吗"}, "docs":[{"image":"https://img.alicdn.com/imgextra/i1/O1CN01n1sLsF1DoV8KACrpr_!!6000000000263-2-tps-691-547.png"}], "options":{"resize_method":"default"}})
    
    response : GetMultiModalRankResponse = client.get_multi_modal_rank("default", "ops-mm-reranker-001", request)
    print (response.body.request_id)
    print (response.body.result)
    print (response.body.usage)

执行成功将返回以下结果:

{
  "result": {
    "scores": [
      {
        "score": 0.8831056356430054,
        "index": 0
      }
    ]
  },
  "latency": 1877,
  "usage": {
    "image_token": 1748,
    "text_token": 14
  },
  "request_id": "27ff41d99293334cdfb73c1b3b8e971f"
}