功能简介
在进行搜索文本召回前,开放搜索会对用户输入关键词进行查询语义分析和处理。其中,同义词功能主要是对查询词进行同义扩展,扩大召回和查询词同义的文档。由于业务场景的多样性,不同行业不同业务都有各自的特殊性,只有具体到应用级别的同义词模型才能保障最优的搜索效果。
OpenSearch提供了丰富的面向特定领域的同义词模型,用户可以基于对应的行业分析器,经过简单的配置训练得到专属的定制同义词模型。整个定制过程,同义词模型训练会自动抽取已有数据进行适配(如果用户已有一些个性化的同义词数据也支持导入优化训练模型,详情可联系技术同学)。
定制召回模型按照存储容量、计算资源、模型训练收费,具体价格请参考OpenSearch-行业算法版计费概述。
快速搭建
召回定制-同义词模型从创建到使用需要经过以下三个步骤:
创建召回定制-同义词模型并开启训练;
配置查询分析并引用已训练的召回定制-同义词模型;
根据业务需求通过干预词典调整召回定制-同义词模型;
创建并训练模型
登录开放搜索管理控制台,在依次点击OpenSearch-行业算法版->搜索算法中心->召回配置->定制召回模型->创建:
按要求填写模型名称,选择同义词模型并选择训练字段,最后点击确认:
模型名称在模型创建后无法修改;
训练字段仅支持short_text、text类型;
同义词模型即可创建完成:
创建完成后, 新创建的模型状态为模型不可用,最新版本状态为待训练,在定制召回模型列表页操作一栏中点击训练模型:
模型训练根据数据量的大小不同、耗时也不同,一般数小时即可训练完成;
模型可重复训练,每次训练完成后,会在详情页中训练历史下新增一个模型版本,编号逐一递增。
已训练完成的同义词模型的模型状态为可用,最新版本状态为已训练并就绪:
配置查询分析
配置查询分析规则时,勾选同义词功能,在其词典使用中选择定制模型,定制同义词模型选择上述新建的模型,定制同义词模型版本选择最新版本,干预词典可选,配置完成后,点击确认:
详情页说明
同义词模型列表页介绍
同义词模型类列表页
同义词模型列表包含模型名称、模型类型、模型状态、最后训练开始时间、最新版本状态、操作等。
已被引用的定制召回模型不可删除;
同义词模型详情页介绍
详情页包含基本信息、配置信息、训练历史三个部分。
1、定制同义词模型训练成功后可点击详情后在点击引用规则下的查看,展示引用当前同义词模型的查询分析规则
2、查看效果测试
3、查看效果对比
同义词模型可选系统内置模型、当前模型的不同版本,点击对比后,在下方展示同义词效果对比
典型case对比展示最多200个同义词结果不同的情况,包含文本、同义词模型1结果、同义词模型2结果
可在测试文本中输入测试query,测试相应的同义词结果
搜索测试页面展示
可以在开放搜索管理控制台,左侧菜单依次点击OpenSearch-行业算法版->功能扩展->搜索测试页面,测试效果:
如需查看每次搜索的请求消耗了多少计算资源,可以添加自定义参数:fetch=result:compute_cost,并开启源码模式:
如果双模型或多模型进行索引搜索时中间以OR做连接:
功能限制
该功能仅在行业算法版-独享集群实例中支持;
单个实例最多创建5个定制模型,单个模型的版本个数最多为3个;
基于应用创建的定制召回模型不可跨应用配置;