本文介绍如何在OpenSearch行业算法版中,使用AI搜索开放平台自定义部署的文本向量化模型。解决跨区域网络耗时问题,为用户提供更多模型选择。
前提条件
功能限制
单个实例最多创建10个定制向量分析器。
单个版本下应用结构中的向量索引只能配置2个。
操作步骤
创建定制模型
登录OpenSearch行业算法版控制台。
左侧导航栏选择
,选择定制召回模型,单击创建按钮。说明当实例为非独享集群时,创建按钮不可用。
按照要求填写以下信息配置,单击确定:
重要在模型创建后仅访问Token可修改,其他均无法修改。
服务名称下拉选项为空时,表示当前地域中AI搜索开放平台未部署文本向量化模型。
名称
说明
模型名称
长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其他模型名称相同。
功能类型
当前可选分析器、词权重、同义词,根据选择不同,页面下方展示的内容不同。
模型类型
当前可选向量模型、文本模型,若要使用AI搜索开放平台中的模型需选择向量模型。
模型来源
本期仅支持AI搜索开放平台。
服务名称
从工作空间中选择用户已经部署的向量模型服务。
访问Token
从AI搜索开放平台已经部署的服务处获取。
向量维度
向量维度是指将非结构化数据(如文本、图片等)通过Embedding模型转化为稠密向量后,该向量所包含的数值数量。这些数值通常表示数据的特征或属性,用于计算相似性、分类或其他分析任务。
OpenSearch通用文本向量服务-001(ops-text-embedding-001)输出向量维度:1536
OpenSearch文本向量服务-中文-001(ops-text-embedding-zh-001)输出向量维度:768
OpenSearch文本向量服务-英文-001(ops-text-embedding-en-001)输出向量维度:768
OpenSearch通用文本向量服务-002(ops-text-embedding-002)输出向量维度:1024
GTE文本向量-多语言-Base(ops-gte-sentence-embedding-multilingual-base)输出向量维度:768
关于AI搜索开放平台文本向量服务详情可查看:文本向量。
说明若输入向量维度值错误,在搜索的时候会报错,文本向量化相当于是失效。
创建完成之后即可在定制召回模型列表查看。
测试向量分词效果
左侧导航栏选择搜索算法中心>召回配置>分词管理>向量分析器,找到对应的分词单击分词测试。
主要用于验证连通性,以检查配置是否有问题。如果能够返回准确的维度和结果,则说明一切正常。
说明若提示”Invalid embedding size“相关报错时,请检查向量维度输入是否有误。
在实例中配置并测试模型效果
在实例管理>找到对应的应用,进入详情页,单击线下变更:
在配置索引结构页面,找到对应的索引,选择需要生效的模型版本:
完成线下变更,操作等待索引重建完成,应用状态为正常时,表示索引构建完成。
配置搜索召回时使用的向量模型,单击搜索算法中心>召回配置>查询分析器配置>创建,在功能选择模块选择文本向量化,向量索引值为步骤2中配置的索引名称。详情参见查询分析配置。
通过功能扩展>搜索测试对其效果进行测试。
说明在进行效果进行测试时,raw_query是必传字段,若不传该字段则文本向量化无法生效。
详情页说明
向量分析器详情中包含基本信息、配置信息字段。
基本信息包含创建时间,以及模型的状态。
配置信息包含模型来源、服务名称、访问Token、向量维度、含义与用户创建时的含义相同,调用信息是AI搜索开放平台部署服务的API域名。