召回定制同义词

功能简介

在进行搜索文本召回前,开放搜索会对用户输入关键词进行查询语义分析和处理。其中,同义词功能主要是对查询词进行同义扩展,扩大召回和查询词同义的文档。由于业务场景的多样性,不同行业不同业务都有各自的特殊性,只有具体到应用级别的同义词模型才能保障最优的搜索效果。

OpenSearch提供了丰富的面向特定领域的同义词模型,用户可以基于对应的行业分析器,经过简单的配置训练得到专属的定制同义词模型。整个定制过程,同义词模型训练会自动抽取已有数据进行适配(如果用户已有一些个性化的同义词数据也支持导入优化训练模型,详情可联系技术同学)。

定制召回模型按照存储容量、计算资源、模型训练收费,具体价格请参考OpenSearch-行业算法版计费概述

快速搭建

召回定制-同义词模型从创建到使用需要经过以下三个步骤:

  1. 创建召回定制-同义词模型并开启训练;

  2. 配置查询分析并引用已训练的召回定制-同义词模型;

  3. 根据业务需求通过干预词典调整召回定制-同义词模型;

创建并训练模型

  1. 登录开放搜索管理控制台,在依次点击OpenSearch-行业算法版->搜索算法中心->召回配置->定制召回模型->创建

    image

  2. 按要求填写模型名称,选择同义词模型并选择训练字段,最后点击确认

    image

说明
  • 模型名称在模型创建后无法修改;

  • 训练字段仅支持short_text、text类型;

  1. 同义词模型即可创建完成:

    image

  2. 创建完成后, 新创建的模型状态模型不可用最新版本状态待训练,在定制召回模型列表页操作一栏中点击训练模型

    image

说明
  • 模型训练根据数据量的大小不同、耗时也不同,一般数小时即可训练完成;

  • 模型可重复训练,每次训练完成后,会在详情页中训练历史下新增一个模型版本,编号逐一递增。

  1. 已训练完成的同义词模型的模型状态可用最新版本状态已训练并就绪

    image

配置查询分析

配置查询分析规则时,勾选同义词功能,在其词典使用中选择定制模型定制同义词模型选择上述新建的模型,定制同义词模型版本选择最新版本,干预词典可选,配置完成后,点击确认:image

说明
  • 若未创建查询分析,请先创建查询分析规则;

  • 相关文档:创建同义词干预词典以及添加同义词干预词条,参考同义词干预词典

详情页说明

同义词模型列表页介绍

同义词模型类列表页

image

说明
  • 同义词模型列表包含模型名称模型类型模型状态最后训练开始时间最新版本状态操作等。

  • 已被引用的定制召回模型不可删除;

同义词模型详情页介绍

详情页包含基本信息配置信息训练历史三个部分。

1、定制同义词模型训练成功后可点击详情后在点击引用规则下的查看,展示引用当前同义词模型的查询分析规则

imageimage

2、查看效果测试

image

image

3、查看效果对比

imageimage

说明
  • 同义词模型可选系统内置模型、当前模型的不同版本,点击对比后,在下方展示同义词效果对比

  • 典型case对比展示最多200个同义词结果不同的情况,包含文本、同义词模型1结果、同义词模型2结果

  • 可在测试文本中输入测试query,测试相应的同义词结果

搜索测试页面展示

  1. 可以在开放搜索管理控制台,左侧菜单依次点击OpenSearch-行业算法版->功能扩展->搜索测试页面,测试效果:

lQLPJxbScUdZXPDNAfXNB42wttYvTeJi6TgDlXgzw8DqAA_1933_501

  1. 如需查看每次搜索的请求消耗了多少计算资源,可以添加自定义参数:fetch=result:compute_cost,并开启源码模式lQLPJwPvkY3DO_DNAibNCJGwBlx9kqUvwg4DlXgzxADsAA_2193_550

  2. 如果双模型或多模型进行索引搜索时中间以OR做连接:

image

功能限制

  • 该功能仅在行业算法版-独享集群实例中支持;

  • 单个实例最多创建5个定制模型,单个模型的版本个数最多为3个;

  • 基于应用创建的定制召回模型不可跨应用配置;