全部产品
云市场

类目预测干预功能

更新时间:2019-07-19 16:36:29

使用介绍

目前支持对训练出的类目预测模型进行人工干预。用户实现干预操作的过程与查询分析干预类似,通常有以下三步:

  1. 创建干预词典。用户进入到类目预测干预词典页后,点击页面右上角的“创建词典”。为词典命名后,即可完成词典创建。
  2. 新增和管理干预词典内的干预词条。词典创建完成后,在列表中点击词典名称或点击词典对应的“管理”,即可进入到干预词典的详情页。用户可在详情页内进行干预词条的新增和管理。用户可对某个Query干预召回结果中类目的相关度,纠正模型预测相关度错误的类目或补充模型未预测出相关度的类目。
  3. 使用干预词典。创建并填充完成类目预测的干预词典后,可在任意的类目预测模型使用。在实际查询中干预词典中和类目预测模型中都有Query下同一类目的相关度计算结果,那么会将干预词典内结果进行合并。
    • 比如:搜索“微微一笑很倾城”,类目预测模型计算出该Query类目20的相关度是0(不相关),类目10的相关度是2(相关)。干预词典中该Query的类目20的相关度被干预成了2(相关),类目30的相关度是1(略相关)。那么最终结果为:类目20的相关度为2,类目30的相关度是1,类目10的相关度是2。

实战演示

  • 业务场景:某电商类业务在OpenSearch的应用实例中配置使用了类目预测模型,但是在线上发现了一些badcase,于是决定使用干预功能
  • Badcase:用户搜索Query“牛奶”,返回的结果中牛奶杯的商品靠前,真正的牛奶靠后
  • 问题诊断:类目预测模型将Query“牛奶”的类目相关性计算错误
  • 解决方案:新建类目预测干预词典,在词典中干预Query“牛奶”,将“牛奶杯”所属的家居用品类目(id是20)的相关度定为略相关,将“牛奶”所属的食品类目(id是15)的相关度定为“相关”
  • 配置流程

1.点击控制台首页干预功能:类目预测干预词典。

1.jpg | center | 827x368

2.创建一个类目预测干预词典,命名为"leimutest"。

2.jpg | center | 649x275

3.在"leimutest"里新增干预词条,Query栏填写“牛奶”,类目ID-相关度栏填写“20-1;15-2”(2代表相关,1代表略相关,0代表不相关)。

3.jpg | center | 827x296

4.将干预词典应用到线上使用的类目预测模型。

5.jpg | center | 827x419

注意事项

  1. 词典名称在创建后不可修改。
  2. 新增干预词条时,填写的Query不应与干预列表内已干预过的Query重复。历史干预过的Query可在列表内直接对已有的类目ID-相关度进行增、删、改。
  3. 单个Query下添加多个类目ID-相关度组合时,每个组合之间用;分隔。
  4. 新增或修改干预词条后,生效状态如果持续是“正在生效”,可以点击刷新按钮获取生效状态的同步。
  5. 同一类目预测干预词典可以被多个类目预测模型使用。
  6. 干预词典不会影响参与模型的训练。
  7. 被任一模型(不论是否上线)使用的干预词典不能被删除,想要删除需要首先解除使用。

功能限制

  1. 类目预测干预词典一共可以创建10个。
  2. 每次新增干预词条时,Query只支持填写一个,单个Query下最多添加5个类目ID-相关度的组合。
  3. 每个类目预测干预词典最多可创建500个干预词条。
  4. 类目预测干预的Query与查询Query精准匹配才生效例如,Query“连衣裙”干预了“类目23相关度为相关”,那么查询“连衣裙”时类目23的结果会按照相关结果进行排序分计算,但是查询“2018连衣裙”时,类目23不会使用上述干预内容进行计算
  5. 添加的干预内容均会进行大小写和全半角归一化处理,其中大写字母会归一化为小写,全角会归一化为半角。