全部产品
云市场

同义词干预配置

更新时间:2019-07-10 16:24:51

业务场景不一样,某些词的同义词也会有所差异,会存在系统内置词典缺少同义词或者提供了错误的同义词。因此,提供了干预功能,供用户自定义同义词。
通过创建同义词干预词典,并在查询分析中同义词配置相应的干预词典,就可以干预同义词功能。

生效规则

  1. 查询词中的一个或连续多个(最多5个)不包含停用词的语义term和干预词条中的query相同,则会干预生效;

  2. 查询词中匹配位置靠前的干预词条优先生效;例如:

    干预词条苹果手机->iphone, 手机->移动电话,query: 苹果手机充电器,最终生效的同义词干预为苹果手机->iphone

  3. 查询词中匹配位置相同时,干预词条的长度(语义term个数)优先,即优先使用语义term个数多的干预词条;例如:

    干预词条苹果手机->iphone, 手机->移动电话 , query: 苹果手机充电器,最终生效的同义词干预为苹果手机->iphone

  4. 用户干预的优先,即如果系统的同义词和用户干预的有冲突,保留用户干预的。冲突指用户干预的部分包含或者被包含在系统出的同义词的语义term范围(指位置)内。如下:

    i. 用户干预的范围包含系统的范围。假设系统有同义词:包菜 -> 圆白菜,查询词:炒包菜 会被扩展为:炒 AND (包菜 OR 圆白菜);如果用户添加同义词: 炒包菜 -> 炒甘蓝,那么就会被扩展为:炒包菜 OR 炒甘蓝。 即圆白菜这个系统的同义词被忽略;
    ii. 用户干预范围被包含于系统范围内。假设系统有同义词:苹果手机 -> iphone,那么查询词:苹果手机 会给扩展为 苹果手机 OR iphone;如果用户添加同义词:手机->移动电话, 那么会被扩展为 苹果 AND (手机 OR 移动电话)。

注意

  1. 对于一个query,最多对两个片段的同义词进行扩展。

使用介绍

目前支持对系统内置的同义词词典进行人工干预(同义词干预词典主要是在”查询分析——同义词”中的系统内置词典功能基础上再进行追加),用户实现干预操作的过程通常有以下四步:

  1. 创建同义词干预词典。用户进入到查询分析干预词典页后,点击页面右上角的“创建词典”。选择了词典类型后,为词典命名,干预词典创建完成,词典会出现在页面的词典列表中。
  2. 新增和管理干预词典内的干预词条。词典创建完成后,在列表中点击词典名称或点击词典对应的“管理”,即可进入到干预词典的详情页。用户可在详情页内进行干预词条的新增和管理。
    用户可对Query进行两种类型的干预:
    • 添加同义词:对一个Query添加同义词,系统在查询Query时会同时返回包含Query的或添加的同义词的搜索结果。
    • 屏蔽同义词:对一个Query屏蔽同义词,系统在查询Query时不再会同时返回包含屏蔽的同义词的搜索结果。
  3. 使用干预词典。创建并填充完成同义词干预词典后,可在任意应用的查询规则内选择使用。
  4. 干预词典效果测试和上线。查询分析规则使用了干预词典后,在应用到线上前建议先进行搜索效果测试,评估效果是否符合干预预期。

实战演示

  • 业务场景:某电商导购类业务在OpenSearch的应用实例中配置使用了查询分析规则,规则包含同义词功能,但是在线上发现了badcase,于是决定使用干预功能。
  • Badcase:用户搜索Query“契尔氏”发现相关商品没有返回,返回的结果里均包含“屈臣氏”,但实际数据库内有相关商品的数据,不过商品的描述都用了其同义词“科颜氏”。
  • 问题诊断:a. 系统同义词词典错误的把“屈臣氏”当作“契尔氏”的同义词进行了召回;b. 系统同义词词典缺失”科颜氏“是”契尔氏“的同义词识别。
  • 解决方案:新建同义词干预词典,在词典中干预Query“契尔氏”,为其添加同义词“科颜氏”,屏蔽错误识别的同义词“屈臣氏”。将该同义词干预词典应用在线上使用的查询分析规则中。
  • 配置流程:
    1.点击控制台首页干预功能:查询分析干预词典。

11

2.创建一个同义词干预词典,命名为”tongyicitest”。

22

3.在”tongyicitest”里新增干预词条,Query栏填写“契尔氏”,添加同义词栏填写“科颜氏”,屏蔽同义词栏填写“屈臣氏”。

11

4.在app中把干预词典先应用在一个未上线的查询分析规则中,以便进行搜索效果测试。

1

5.搜索测试是否符合预期效果。发现搜索结果召回了包含“科颜氏”或“契尔氏”的结果,没有再召回包含“屈臣氏”的结果,符合预期。

t

6.将干预词典应用到已上线的查询分析规则中。

2

注意事项

  1. 词典类型和名称在创建后均不可修改。
  2. 新增干预词条时,填写的Query不应与干预列表内已干预过的Query重复。历史干预过的Query可在列表内直接对增加和屏蔽的同义词进行增、删、改。
  3. 单个Query下添加或屏蔽多个同义词,每个词之间用;分隔。
  4. 新增或修改干预词条后,生效状态如果持续是“正在生效”,可以点击刷新按钮获取生效状态的同步。
  5. 同一干预词典可以被多个查询分析规则使用。
  6. 由于目前的干预词典是基于系统内置词典的补丁式干预,所以词典使用时会默认勾选使用系统内置词典。
  7. 被任一查询规则(不论是否上线)使用的干预词典不能被删除,想要删除需要首先解除使用。

功能限制

  1. 同义词干预词典一共可以创建10个。
  2. 每次新增同义词干预词条时,Query只支持填写一个,同一Query下添加和屏蔽的同义词总和应≤5条。
  3. 每个同义词干预词典最多可创建500个干预词条。
  4. 同义词干预词条按照分词后的term进行匹配生效。例如,为Query“北京”添加了同义词“帝都”,那么查询“北京”会返回包含“北京”或“帝都”的结果,同时查询“北京欢迎你”,返回包含“北京欢迎你”或“帝都欢迎你”的结果。
  5. 添加的干预内容均会进行大小写和全半角归一化处理,其中大写字母会归一化为小写,全角会归一化为半角。