配置模板：PAI Model Gallery_检索分析服务 Elasticsearch版(ES)-阿里云帮助中心

Model Gallery提供了丰富的模型库，涵盖了大规模语言模型（LLM）、生成式人工智能内容（AIGC）、计算机视觉（CV）、自然语言处理（NLP）和语音等多种人工智能应用场景。您可以对模型进行一键训练（支持超参数配置）、压缩、评测和部署，从而快速验证业务需求。本文介绍如何在ES中使用部署在PAI上的模型进行模型推理服务。

前提条件

已创建阿里云ES 8.15及以上（内核版本2.1.2以上）的版本实例。
已开通人工智能PAI平台。如您未开通，请参见开通PAI并创建默认工作空间。

步骤一、在PAI中部署模型

我们以部署Embedding模型为例，进入PAI的Model Gallery界面，单击场景 > 自然语言处理 > Embedding，然后选择bge-m3通用向量模型（其余模型同理）。
说明
建议在ES同地域部署服务，后续配置与ES集群相同的VPC网络，以便ES可以通过私网访问部署的服务，从而实现更低的时延和更稳定的连接。

单击bge-m3通用向量模型右下角的部署，进入模型部署界面（若要通过VPC地址调用，则部署配置中的专有网络（VPC）需要配置与ES集群相同的专有网络）。

参数	说明

参数	说明
部署方式	部署方式。支持vLLM加速部署、FlagEmbedding两种方式及其下属机型。
基本信息	服务名称。您可以自定义名称。
资源部署	资源部署。您可以依据业务需要进行资源规格部署。
专有网络	专有网络。部署配置中的专有网络（VPC）需要配置与ES集群相同的专有网络。
服务功能	服务功能。您可以依据业务需要自行设置服务功能。
服务配置	服务配置。您可以依据业务需要自行配置服务。

在模型部署界面进行相关参数配置，配置好后，单击界面下方的部署，即可部署模型。
单击左侧导航栏模型部署 > 模型在线服务（EAS）。
说明
当模型服务状态为运行中时，即可调用模型接口进行使用。
单击名称/ID列的模型名，进入模型的概览页签。
单击查看调用信息，即可查看模型调用的url以及Token。

步骤二、在阿里云Elasticsearch中创建`PAI`上的模型的模型推理服务

说明

您可以在阿里云ES实例的Kibana中运行以下代码，以创建模型推理服务。

各类型方法如下：

text_embedding类型

completion类型

创建模型语法模板：

PUT _inference/text_embedding/pai_embedding
{
  "service":"alibaba-cloud-custom-model",
  "service_settings":{
    "secret_parameters":{
      "api_key":"<替换为您的api_key>"
    },
    "url":"<替换为您服务的url>",
    "path":{
      "<替换为您服务的path>":{
        "POST":{
          "headers":{
            "Authorization": "Bearer ${api_key}",
            "Content-Type": "application/json;charset=utf-8"
          },
          "request":{
            "format":"string",
            "content":"""
            {
              "input":${input}, 
              "embedding_type":"dense"
            }
            """
          },
          "response":{
            "json_parser":{
              "text_embeddings":"$.data[*].embedding"
            }
          }
        }
      }
    }
  }
}

示例：

PUT _inference/text_embedding/pai_embedding
{
  "service":"alibaba-cloud-custom-model",
  "service_settings":{
    "secret_parameters":{
      "api_key":"xxx"
    },
    "url":"http://xxx.cn-hangzhou.pai-eas.aliyuncs.com",
    "path":{
      "/":{
        "POST":{
          "headers":{
            "Authorization": "Bearer ${api_key}",
            "Content-Type": "application/json;charset=utf-8"
          },
          "request":{
            "format":"string",
            "content":"""
            {
              "input":${input}, 
              "embedding_type":"dense"
            }
            """
          },
          "response":{
            "json_parser":{
              "text_embeddings":"$.data[*].embedding"
            }
          }
        }
      }
    }
  }
}

调用模型：

POST _inference/text_embedding/pai_embedding
{
  "input":["hello", "world"]
}

Response（响应结果）：

{
  "text_embedding": [
    {
      "embedding": [
        -0.016567165,
        -0.015161497,
        ...
      ]
    },
    {
      "embedding": [
        -0.023222955,
        0.031465773,
        ...
      ]
    }
  ]
}