召回定制词权重

功能简介

在进行搜索文本召回前,开放搜索会对用户输入关键词进行查询语义分析和处理。其中,词权重将分析关键词中每一个词在文本中的重要程度,并将其量化成权重,权重较低的词可能不会参与召回。这样可以避免当关键词中包含一些权重低的词时,导致命中结果过少。由于业务场景的多样性,不同行业不同业务都有各自的特殊性,只有具体到应用级别的词权重模型才能保障最优的搜索效果。

OpenSearch-行业算法版提供了丰富的面向特定领域的词权重模型,用户可以基于对应的行业分析器,经过简单的配置训练得到专属的定制词权重模型。整个定制过程无需进行额外的数据对接,词权重模型训练会自动抽取已有数据进行适配。

定制召回模型按照存储容量、计算资源、模型训练收费,具体价格请参考OpenSearch-行业算法版实例计费概述

快速搭建

召回定制-词权重模型从创建到使用需要经过以下三个步骤:

  1. 创建召回定制-词权重模型并开启训练;

  2. 配置查询分析并引用已训练的召回定制-词权重模型;

  3. 根据业务需求通过干预词典调整召回定制-词权重模型;

创建并训练模型

1、依次点击开放搜索->召回配置->定制召回模型->创建创建召回定制-词权重模型:image

按要求填写模型名,选择词权重模型并选择需要训练的字段,最后点击确认image

配置参数:

  • 模型名称:按提示填写例(ly_tets)

  • 模型类型:当前可选文本分析器模型、词权重模型,根据选择不同,下方展示的内容不同

  • 训练字段:从当前应用的文本自动中选择

2、词权重模型创建成功后可点击训练模型,则开始当前模型的训练image

配置查询分析

1、创建查询分析规则时,如需使用词权重功能,需先选择模型使用,可选系统内置模型、定制词权重模型image

2、如选择定制词权重模型,则需进一步选择词权重模型的名称、版本

image

配置干预词典

点击召回配置->词典管理->新增干预词条,填写需要获取的query、分析器、词权重模型等参数,最后点击保存

image

详情页说明

词权重模型列表页介绍

词权重模型类列表页

image

词权重模型列表包含模型名称、模型类型、模型状态、最后训练开始时间、最新版本状态、操作等。

注意:已被引用的定制召回模型不可删除;

词权重模型详情页介绍

详情页包含基本信息、配置信息、训练历史三个部分。

1、定制召回模型训练成功后可点击详情后在点击引用规则下的查看,展示引用当前词权重模型的查询分析规则

imageimage

2、查看效果测试

image

3、查看效果对比

image

注意:

  • 词权重模型可选系统内置模型、当前模型的不同版本,点击对比后,在下方展示词权重效果对比

  • 典型case对比展示最多200个词权重结果不同的情况,包含文本、词权重模型1结果、词权重模型2结果

  • 可在测试文本中输入测试query,测试相应的词权重结果

功能限制

  • 该功能仅支持行业算法版-独享集群实例中应用;

  • 单个实例最多创建5个定制模型;

  • 基于应用创建的定制召回模型不可跨应用配置;