本文介绍如何在OpenSearch行业算法版中,使用AI搜索开放平台自定义部署的文本向量化模型。解决跨区域网络耗时问题,为用户提供更多模型选择。
前提条件
功能限制
- 单个实例最多创建10个定制向量分析器。 
- 单个版本下应用结构中的向量索引只能配置2个。 
操作步骤
创建定制模型
- 登录OpenSearch行业算法版控制台。 
- 左侧导航栏选择,选择定制召回模型,单击创建按钮。  说明 说明- 当实例为非独享集群时,创建按钮不可用。 
- 按照要求填写以下信息配置,单击确定:  重要 重要- 在模型创建后仅访问Token可修改,其他均无法修改。 
- 服务名称下拉选项为空时,表示当前地域中AI搜索开放平台未部署文本向量化模型。 
 - 名称 - 说明 - 模型名称 - 长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其他模型名称相同。 - 功能类型 - 当前可选分析器、词权重、同义词,根据选择不同,页面下方展示的内容不同。 - 模型类型 - 当前可选向量模型、文本模型,若要使用AI搜索开放平台中的模型需选择向量模型。 - 模型来源 - 本期仅支持AI搜索开放平台。 - 服务名称 - 从工作空间中选择用户已经部署的向量模型服务。 - 访问Token - 从AI搜索开放平台已经部署的服务处获取。 - 向量维度 - 向量维度是指将非结构化数据(如文本、图片等)通过Embedding模型转化为稠密向量后,该向量所包含的数值数量。这些数值通常表示数据的特征或属性,用于计算相似性、分类或其他分析任务。 - OpenSearch通用文本向量服务-001(ops-text-embedding-001)输出向量维度:1536 
- OpenSearch文本向量服务-中文-001(ops-text-embedding-zh-001)输出向量维度:768 
- OpenSearch文本向量服务-英文-001(ops-text-embedding-en-001)输出向量维度:768 
- OpenSearch通用文本向量服务-002(ops-text-embedding-002)输出向量维度:1024 
- GTE文本向量-多语言-Base(ops-gte-sentence-embedding-multilingual-base)输出向量维度:768 
 - 关于AI搜索开放平台文本向量服务详情可查看:文本向量。 说明- 若输入向量维度值错误,在搜索的时候会报错,文本向量化相当于是失效。 
- 创建完成之后即可在定制召回模型列表查看。  
测试向量分词效果
- 左侧导航栏选择搜索算法中心>召回配置>分词管理>向量分析器,找到对应的分词单击分词测试。  
- 主要用于验证连通性,以检查配置是否有问题。如果能够返回准确的维度和结果,则说明一切正常。  说明 说明- 若提示”Invalid embedding size“相关报错时,请检查向量维度输入是否有误。 
在实例中配置并测试模型效果
- 在实例管理>找到对应的应用,进入详情页,单击线下变更:  
- 在配置索引结构页面,找到对应的索引,选择需要生效的模型版本:  
- 完成线下变更,操作等待索引重建完成,应用状态为正常时,表示索引构建完成。  
- 配置搜索召回时使用的向量模型,单击搜索算法中心>召回配置>查询分析器配置>创建,在功能选择模块选择文本向量化,向量索引值为步骤2中配置的索引名称。详情参见查询分析配置。  
- 通过功能扩展>搜索测试对其效果进行测试。  说明 说明- 在进行效果进行测试时,raw_query是必传字段,若不传该字段则文本向量化无法生效。 
详情页说明

- 向量分析器详情中包含基本信息、配置信息字段。 
- 基本信息包含创建时间,以及模型的状态。 
- 配置信息包含模型来源、服务名称、访问Token、向量维度、含义与用户创建时的含义相同,调用信息是AI搜索开放平台部署服务的API域名。