召回定制词权重

更新时间:
复制 MD 格式

功能简介

在进行搜索文本召回前,开放搜索会对用户输入关键词进行查询语义分析和处理。其中,词权重将分析关键词中每一个词在文本中的重要程度,并将其量化成权重,权重较低的词可能不会参与召回。这样可以避免当关键词中包含一些权重低的词时,导致命中结果过少。由于业务场景的多样性,不同行业不同业务都有各自的特殊性,只有具体到应用级别的词权重模型才能保障最优的搜索效果。

OpenSearch-行业算法版提供了丰富的面向特定领域的词权重模型,用户可以基于对应的行业分析器,经过简单的配置训练得到专属的定制词权重模型。整个定制过程无需进行额外的数据对接,词权重模型训练会自动抽取已有数据进行适配。

定制召回模型按照存储容量、计算资源、模型训练收费,具体价格请参考OpenSearch-行业算法版实例计费概述

快速搭建

召回定制-词权重模型从创建到使用需要经过以下三个步骤:

  1. 创建召回定制-词权重模型并开启训练;

  2. 配置查询分析并引用已训练的召回定制-词权重模型;

  3. 根据业务需求通过干预词典调整召回定制-词权重模型;

创建并训练模型

1、依次点击开放搜索->召回配置->定制召回模型->创建创建召回定制-词权重模型。

按要求填写模型名,选择词权重模型并选择需要训练的字段,最后点击确认

配置参数:

  • 模型名称:按提示填写例(ly_tets)

  • 模型类型:当前可选文本分析器模型、词权重模型,根据选择不同,下方展示的内容不同

  • 训练字段:从当前应用的文本自动中选择

2、词权重模型创建成功后可点击训练模型,则开始当前模型的训练。

配置查询分析

1、创建查询分析规则时,如需使用词权重功能,需先选择模型使用,可选系统内置模型、定制词权重模型。在编辑规则对话框中,设置规则名称为 and_no_syn,索引范围选择 title,行业类型选择通用,Query 改写策略选择 AND。在功能选择区域勾选停用词拼写纠错词权重,词典使用勾选系统内置词典

2、如选择定制词权重模型,则需进一步选择词权重模型的名称、版本

编辑规则弹窗中,规则名称为 and_no_syn,索引范围为 title,行业类型选择通用,Query 改写策略选择 AND。功能选择区域勾选停用词拼写纠错词权重。词权重的词典使用选择定制词权重模型,模型名称选择 qz_test,模型版本选择 1,干预词典需进一步选择。

配置干预词典

点击召回配置->词典管理->新增干预词条,填写需要获取的query、分析器、词权重模型等参数,最后点击保存

详情页说明

词权重模型列表页介绍

词权重模型类列表页

词权重模型列表包含模型名称、模型类型、模型状态、最后训练开始时间、最新版本状态、操作等。

注意:已被引用的定制召回模型不可删除;

词权重模型详情页介绍

详情页包含基本信息、配置信息、训练历史三个部分。

1、定制召回模型训练成功后可点击详情后在点击引用规则下的查看,展示引用当前词权重模型的查询分析规则

2、查看效果测试

在效果测试面板中,输入测试文本(如“请输入每次一个”),选择分析器类型定制模型分析器,选择对应分析器及版本,单击测试后,下方表格展示各分词 term 及其词权重结果(如“请”为高,“输入”、“每次”、“一个”为低)。

3、查看效果对比

注意:

  • 词权重模型可选系统内置模型、当前模型的不同版本,点击对比后,在下方展示词权重效果对比

  • 典型case对比展示最多200个词权重结果不同的情况,包含文本、词权重模型1结果、词权重模型2结果

  • 可在测试文本中输入测试query,测试相应的词权重结果

功能限制

  • 该功能仅支持行业算法版-独享集群实例中应用;

  • 单个实例最多创建5个定制模型;

  • 基于应用创建的定制召回模型不可跨应用配置;