对接AI搜索开放平台的向量模型

更新时间:
复制为 MD 格式

本文介绍如何在OpenSearch行业算法版中,使用AI搜索开放平台自定义部署的文本向量化模型。解决跨区域网络耗时问题,为用户提供更多模型选择。

前提条件

  • 需接入AI搜索开放平台,详情可参考:服务开通与配置

  • 需在AI搜索开放平台中部署文本向量化模型。

  • 只有行业算法版独享型集群支持创建定制向量分析器,且购买的实例必须与AI搜索开放平台中已部署的模型在同一个区域

功能限制

  • 单个实例最多创建10个定制向量分析器。

  • 单个版本下应用结构中的向量索引只能配置2个。

操作步骤

创建定制模型

  1. 登录OpenSearch行业算法版控制台

  2. 左侧导航栏选择搜索算法中心 > 召回配置,选择定制召回模型,单击创建按钮。

    说明

    当实例为非独享集群时,创建按钮不可用。

  3. 按照要求填写以下信息配置,单击确定:表单中还包含目标应用下拉框(创建后不可更改)。表单底部提示:定制向量分析器不会收取额外费用,但创建向量索引时根据向量维度不同会导致存储容量上升;定制模型将占用实例的存储容量和计算资源。

    重要
    • 在模型创建后仅访问Token可修改,其他均无法修改。

    • 服务名称下拉选项为空时,表示当前地域中AI搜索开放平台未部署文本向量化模型。

    名称

    说明

    模型名称

    长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其他模型名称相同。

    功能类型

    当前可选分析器、词权重、同义词,根据选择不同,页面下方展示的内容不同。

    模型类型

    当前可选向量模型、文本模型,若要使用AI搜索开放平台中的模型需选择向量模型。

    模型来源

    本期仅支持AI搜索开放平台。

    服务名称

    从工作空间中选择用户已经部署的向量模型服务。

    访问Token

    AI搜索开放平台已经部署的服务处获取。

    向量维度

    向量维度是指将非结构化数据(如文本、图片等)通过Embedding模型转化为稠密向量后,该向量所包含的数值数量。这些数值通常表示数据的特征或属性,用于计算相似性、分类或其他分析任务。

    • OpenSearch通用文本向量服务-001(ops-text-embedding-001)输出向量维度:1536

    • OpenSearch文本向量服务-中文-001(ops-text-embedding-zh-001)输出向量维度:768

    • OpenSearch文本向量服务-英文-001(ops-text-embedding-en-001)输出向量维度:768

    • OpenSearch通用文本向量服务-002(ops-text-embedding-002)输出向量维度:1024

    • GTE文本向量-多语言-Base(ops-gte-sentence-embedding-multilingual-base)输出向量维度:768

    关于AI搜索开放平台文本向量服务详情可查看:文本向量

    说明

    若输入向量维度值错误,在搜索的时候会报错,文本向量化相当于是失效。

  4. 创建完成之后即可在定制召回模型列表查看。创建完成后,在定制模型列表中可查看新建的模型,模型状态显示为可用。在操作列中可单击详情查看模型信息,或单击训练模型进行模型训练。

测试向量分词效果

  1. 左侧导航栏选择搜索算法中心>召回配置>分词管理>向量分析器,找到对应的分词单击分词测试。

  2. 主要用于验证连通性,以检查配置是否有问题。如果能够返回准确的维度和结果,则说明一切正常。在弹出的 分析器效果测试 对话框中,输入测试文本(例如"企业"),单击 测试,分析结果区域将显示分析器名称、向量维度(例如1024)及对应的浮点数embedding向量值。

    说明

    若提示”Invalid embedding size“相关报错时,请检查向量维度输入是否有误。

在实例中配置并测试模型效果

  1. 实例管理>找到对应的应用,进入详情页,单击线下变更。

  2. 在配置索引结构页面,找到对应的索引,选择需要生效的模型版本:在 索引结构 步骤中,找到 索引字段列表,为向量索引(如 ai_vector)的 分析方式 选择 向量分析,并在展开的子菜单中选择已部署的向量模型(如 test_model)。

  3. 完成线下变更,操作等待索引重建完成,应用状态为正常时,表示索引构建完成。

    此时线下应用的状态显示为应用初始化中,等待该状态变为正常即可。

  4. 配置搜索召回时使用的向量模型,单击搜索算法中心>召回配置>查询分析器配置>创建,在功能选择模块选择文本向量化,向量索引值为步骤2中配置的索引名称。详情参见查询分析配置

  5. 通过功能扩展>搜索测试对其效果进行测试。在搜索测试页面执行查询后,单击查询分析过程,可在分析过程中查看文本向量化的生效结果,包括向量索引名称、向量维度(如 768)及向量结果。

    说明

    在进行效果进行测试时,raw_query是必传字段,若不传该字段则文本向量化无法生效。

详情页说明

  • 向量分析器详情中包含基本信息、配置信息字段。

  • 基本信息包含创建时间,以及模型的状态。

  • 配置信息包含模型来源、服务名称、访问Token、向量维度、含义与用户创建时的含义相同,调用信息是AI搜索开放平台部署服务的API域名。