类目预测干预词典

使用介绍

目前支持对训练出的类目预测模型进行人工干预。用户实现干预操作的过程与查询分析干预类似,通常有以下三步:

1. 创建干预词典。用户通过控制台--->功能扩展--->词典管理,进入查询分析干预词典页后,点击页面右上角的“创建”。选择了词典类型后,为词典命名,干预词典创建完成,词典会出现在页面的词典列表中。

2. 新增和管理干预词典内的干预词条。词典创建完成后,在列表中点击词典名称或点击词典对应的“管理”,即可进入到干预词典的详情页。用户可在详情页内进行干预词条的新增和管理。用户可对某个Query干预召回结果中类目的相关度,纠正模型预测相关度错误的类目或补充模型未预测出相关度的类目。

3. 使用干预词典。创建并填充完成类目预测的干预词典后,可在任意的类目预测模型使用。在实际查询中干预词典中和类目预测模型中都有Query下同一类目的相关度计算结果,那么会将干预词典内结果进行合并。

  • 比如:搜索“微微一笑很倾城”,类目预测模型计算出该Query类目20的相关度是0(不相关),类目10的相关度是2(相关)。干预词典中该Query的类目20的相关度被干预成了2(相关),类目30的相关度是1(略相关)。那么最终结果为:类目20的相关度为2,类目30的相关度是1,类目10的相关度是2。

实战演练

业务场景:某电商类业务在OpenSearch的应用实例中配置使用了类目预测模型,但是在线上发现了一些badcase,于是决定使用干预功能。

badcase:用户搜索Query“牛奶”,返回的结果中牛奶杯的商品靠前,真正的牛奶靠后。

问题诊断:类目预测模型将Query“牛奶”的类目相关性计算错误。

解决方案:新建类目预测干预词典,在词典中干预Query“牛奶”,将“牛奶杯”所属的家居用品类目(id是20)的相关度定为略相关,将“牛奶”所属的食品类目(id是15)的相关度定为“相关”。

操作步骤

1.在控制台—->搜索算法中心—->召回配置—->词典管理,词典类型选择“类目预测”创建类目预测干预词典:

image

image

2.在”test_2”里新增干预词条,Query栏填写“牛奶”,类目ID-相关度栏填写“20-1;15-2”(2代表相关,1代表略相关,0代表不相关):

imageimage

3.将干预词典应用到线上使用的类目预测模型:

777

注意事项

  • 词典名称在创建后不可修改。

  • 新增干预词条时,填写的Query不应与干预列表内已干预过的Query重复。历史干预过的Query可在列表内直接对已有的类目ID-相关度进行增、删、改。

  • 单个Query下添加多个类目ID-相关度组合时,每个组合之间用;分隔。

  • 新增或修改干预词条后,生效状态如果持续是“正在生效”,可以点击刷新按钮获取生效状态的同步。

  • 同一类目预测干预词典可以被多个类目预测模型使用。

  • 干预词典不会影响参与模型的训练。

  • 被任一模型(不论是否上线)使用的干预词典不能被删除,想要删除需要首先解除使用。

功能限制

  • 类目预测干预词典一共可以创建10个。

  • 每次新增干预词条时,Query只支持填写一个,单个Query下最多添加5个类目ID-相关度的组合。

  • 每个类目预测干预词典最多可创建500个干预词条。

  • 类目预测干预的Query与查询Query精准匹配才生效。例如,Query“连衣裙”干预了“类目23相关度为相关”,那么查询“连衣裙”时类目23的结果会按照相关结果进行排序分计算,但是查询“2018连衣裙”时,类目23不会使用上述干预内容进行计算。

  • 添加的干预内容均会进行大小写和全半角归一化处理,其中大写字母会归一化为小写,全角会归一化为半角。