功能简介
在进行搜索文本召回前,开放搜索会对用户输入关键词进行查询语义分析和处理。其中,词权重将分析关键词中每一个词在文本中的重要程度,并将其量化成权重,权重较低的词可能不会参与召回。这样可以避免当关键词中包含一些权重低的词时,导致命中结果过少。由于业务场景的多样性,不同行业不同业务都有各自的特殊性,只有具体到应用级别的词权重模型才能保障最优的搜索效果。
OpenSearch-行业算法版提供了丰富的面向特定领域的词权重模型,用户可以基于对应的行业分析器,经过简单的配置训练得到专属的定制词权重模型。整个定制过程无需进行额外的数据对接,词权重模型训练会自动抽取已有数据进行适配。
定制召回模型按照存储容量、计算资源、模型训练收费,具体价格请参考OpenSearch-行业算法版实例计费概述
快速搭建
召回定制-词权重模型从创建到使用需要经过以下三个步骤:
创建召回定制-词权重模型并开启训练;
配置查询分析并引用已训练的召回定制-词权重模型;
根据业务需求通过干预词典调整召回定制-词权重模型;
创建并训练模型
1、依次点击开放搜索->召回配置->定制召回模型->创建创建召回定制-词权重模型。
按要求填写模型名,选择词权重模型并选择需要训练的字段,最后点击确认。
配置参数:
模型名称:按提示填写例(ly_tets)
模型类型:当前可选文本分析器模型、词权重模型,根据选择不同,下方展示的内容不同
训练字段:从当前应用的文本自动中选择
2、词权重模型创建成功后可点击训练模型,则开始当前模型的训练。
配置查询分析
1、创建查询分析规则时,如需使用词权重功能,需先选择模型使用,可选系统内置模型、定制词权重模型。在编辑规则对话框中,设置规则名称为 and_no_syn,索引范围选择 title,行业类型选择通用,Query 改写策略选择 AND。在功能选择区域勾选停用词、拼写纠错、词权重,词典使用勾选系统内置词典。
2、如选择定制词权重模型,则需进一步选择词权重模型的名称、版本
在编辑规则弹窗中,规则名称为 and_no_syn,索引范围为 title,行业类型选择通用,Query 改写策略选择 AND。功能选择区域勾选停用词、拼写纠错、词权重。词权重的词典使用选择定制词权重模型,模型名称选择 qz_test,模型版本选择 1,干预词典需进一步选择。
配置干预词典
点击召回配置->词典管理->新增干预词条,填写需要获取的query、分析器、词权重模型等参数,最后点击保存。
详情页说明
词权重模型列表页介绍
词权重模型类列表页
词权重模型列表包含模型名称、模型类型、模型状态、最后训练开始时间、最新版本状态、操作等。
注意:已被引用的定制召回模型不可删除;
词权重模型详情页介绍
详情页包含基本信息、配置信息、训练历史三个部分。
1、定制召回模型训练成功后可点击详情后在点击引用规则下的查看,展示引用当前词权重模型的查询分析规则
2、查看效果测试
在效果测试面板中,输入测试文本(如“请输入每次一个”),选择分析器类型为定制模型分析器,选择对应分析器及版本,单击测试后,下方表格展示各分词 term 及其词权重结果(如“请”为高,“输入”、“每次”、“一个”为低)。
3、查看效果对比
注意:
词权重模型可选系统内置模型、当前模型的不同版本,点击对比后,在下方展示词权重效果对比
典型case对比展示最多200个词权重结果不同的情况,包含文本、词权重模型1结果、词权重模型2结果
可在测试文本中输入测试query,测试相应的词权重结果
功能限制
该功能仅支持行业算法版-独享集群实例中应用;
单个实例最多创建5个定制模型;
基于应用创建的定制召回模型不可跨应用配置;