对接AI搜索开放平台的向量模型

本文介绍如何在OpenSearch行业算法版中,使用AI搜索开放平台自定义部署的文本向量化模型。解决跨区域网络耗时问题,为用户提供更多模型选择。

前提条件

  • 需接入AI搜索开放平台,详情可参考:服务开通与配置

  • 需在AI搜索开放平台中部署文本向量化模型。

  • 只有行业算法版独享型集群支持创建定制向量分析器,且购买的实例必须与AI搜索开放平台中已部署的模型在同一个区域

功能限制

  • 单个实例最多创建10个定制向量分析器。

  • 单个版本下应用结构中的向量索引只能配置2个。

操作步骤

创建定制模型

  1. 登录OpenSearch行业算法版控制台

  2. 左侧导航栏选择搜索算法中心 > 召回配置,选择定制召回模型,单击创建按钮。image

    说明

    当实例为非独享集群时,创建按钮不可用。

  3. 按照要求填写以下信息配置,单击确定:image

    重要
    • 在模型创建后仅访问Token可修改,其他均无法修改。

    • 服务名称下拉选项为空时,表示当前地域中AI搜索开放平台未部署文本向量化模型。

    名称

    说明

    模型名称

    长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其他模型名称相同。

    功能类型

    当前可选分析器、词权重、同义词,根据选择不同,页面下方展示的内容不同。

    模型类型

    当前可选向量模型、文本模型,若要使用AI搜索开放平台中的模型需选择向量模型。

    模型来源

    本期仅支持AI搜索开放平台。

    服务名称

    从工作空间中选择用户已经部署的向量模型服务。

    访问Token

    AI搜索开放平台已经部署的服务处获取。

    向量维度

    向量维度是指将非结构化数据(如文本、图片等)通过Embedding模型转化为稠密向量后,该向量所包含的数值数量。这些数值通常表示数据的特征或属性,用于计算相似性、分类或其他分析任务。

    • OpenSearch通用文本向量服务-001(ops-text-embedding-001)输出向量维度:1536

    • OpenSearch文本向量服务-中文-001(ops-text-embedding-zh-001)输出向量维度:768

    • OpenSearch文本向量服务-英文-001(ops-text-embedding-en-001)输出向量维度:768

    • OpenSearch通用文本向量服务-002(ops-text-embedding-002)输出向量维度:1024

    • GTE文本向量-多语言-Base(ops-gte-sentence-embedding-multilingual-base)输出向量维度:768

    关于AI搜索开放平台文本向量服务详情可查看:文本向量

    说明

    若输入向量维度值错误,在搜索的时候会报错,文本向量化相当于是失效。

  4. 创建完成之后即可在定制召回模型列表查看。image

测试向量分词效果

  1. 左侧导航栏选择搜索算法中心>召回配置>分词管理>向量分析器,找到对应的分词单击分词测试。image

  2. 主要用于验证连通性,以检查配置是否有问题。如果能够返回准确的维度和结果,则说明一切正常。image

    说明

    若提示”Invalid embedding size“相关报错时,请检查向量维度输入是否有误。

在实例中配置并测试模型效果

  1. 实例管理>找到对应的应用,进入详情页,单击线下变更:image

  2. 在配置索引结构页面,找到对应的索引,选择需要生效的模型版本:image

  3. 完成线下变更,操作等待索引重建完成,应用状态为正常时,表示索引构建完成。

    image

  4. 配置搜索召回时使用的向量模型,单击搜索算法中心>召回配置>查询分析器配置>创建,在功能选择模块选择文本向量化,向量索引值为步骤2中配置的索引名称。详情参见查询分析配置image

  5. 通过功能扩展>搜索测试对其效果进行测试。56566

    说明

    在进行效果进行测试时,raw_query是必传字段,若不传该字段则文本向量化无法生效。

详情页说明

image

  • 向量分析器详情中包含基本信息、配置信息字段。

  • 基本信息包含创建时间,以及模型的状态。

  • 配置信息包含模型来源、服务名称、访问Token、向量维度、含义与用户创建时的含义相同,调用信息是AI搜索开放平台部署服务的API域名。