智能优化与应用结果

更新时间:
复制 MD 格式

本文沿用虚构的“重要信息未提醒”案例:客服确认办理退款时,应告知预计到账时间;仅咨询流程时,本例规则不适用。

智能优化根据规则、对话和已确认的人工标注,尝试改进规则内容,并生成供用户审阅的结果。优化产出的新版本可能已被设为任务当前版本,实际规则仍需通过采纳 更新。请结合业务口径和评测表现审阅结果,不要仅凭优化完成就判断它已在线上生效。

适用场景

  • 批量评测发现了误判,希望利用已标注样本改进规则。

  • 规则适用范围或边界不够清楚,希望比较优化前后的判断。

  • 已有一批可靠标注,希望生成可供审阅的新规则版本。

  • 需要分别优化多条规则,并逐条决定是否采用结果。

如果只是想查看规则当前判得对不对,可以先完成调试规则与批量测评,不必直接发起优化。

准备工作

进入 规则自进化→ 自进化任务,打开目标规则任务的 智能优化,检查规则、样本和标注的准备情况。

检查项

需要准备什么

规则内容

有明确的业务要求、触发条件和适用范围,正文不为空

对话样本

任务评测集非空,对话完整且适用于当前规则

有效标注

有可用的人工结论,内容与当前规则或维度对应

场景覆盖

包含应命中、未命中及容易混淆的边界情况

当前运行状态

确认同一任务没有尚未结束的优化

先处理页面标出的必需项,再考虑样本数量和覆盖方面的建议。推荐样本数量有助于改善代表性,不应与启动优化的必需条件混淆;是否可以开始,以当前任务的准备检查结果为准。

需要补充样本时,点击 去添加数据;需要完善标注时,点击 去标注理想回答,完成后返回智能优化 再次检查。

如果页面提示缺少某类样本或标注,请补充真实适用的对话并确认结论。例如需要未命中样本时,可补充已提醒到账时间或仅咨询流程的案例,不要把原本应命中的样本改成未命中来满足条件。

数据准备及标注方式见准备与管理自进化数据集。

操作步骤

1. 明确本轮要解决的问题

在提交前,用一句话说明希望解决的问题,并找出对应的样本。

例如:

当前规则容易把“仅咨询退款流程”的对话判断为未提醒到账时间。本轮希望明确“已确认办理退款”这一触发条件,同时保留对实际漏提醒情况的识别。

这里的目标用于帮助你准备样本和审阅结果,不要求必须在页面额外填写一段说明。相比只关注总体准确率,明确具体问题更容易判断优化是否有实际价值。

2. 配置并发起优化

image

  1. 进入目标规则任务的 智能优化,确认当前规则和数据是本次要使用的内容。

  2. 处理准备检查中尚未满足的必需项。

  3. 点击 优化目标设置,在弹窗中选择 目标准确率。首次使用可以保留 90%·均衡(默认推荐),点击保存;不保留本次设置时点击 取消。

  4. 查看本轮的预估轮数和时间。这些值用于了解大致投入,不保证实际耗时或最终效果;选择目标准确率也不意味着本轮一定能达到该目标。

  5. 点击 开始智能优化,查看任务是否进入等待或执行状态。

判定模型沿用规则绑定的线上模型,本页无需另行选择模型。当前优化设置中需要选择的是目标准确率,不需要手动配置迭代轮数。

发起后保持本轮规则、样本和标注稳定。如发现输入有误,需要先完成停止操作,修正后再重新发起,避免在执行过程中改变比较依据。

3. 查看进度,处理停止或失败

执行过程中,可以在当前任务查看进度。处理方式取决于任务是否已经结束:

当前情况

建议操作

正在等待或执行

等待现有任务继续推进,不重复发起同一任务

已提出停止,仍在停止中

等待页面确认最终状态,再决定是否重试

已完成并生成结果

进入结果审阅,检查规则改动与评测表现

已失败

阅读错误提示,确认任务已结束后再处理原因或重新发起

已取消

根据本次取消原因修正输入或设置,准备好后再发起

执行失败不一定表示规则或数据有问题,也可能是一次服务调用未成功。对于已经结束的偶发执行失败,可重新发起一次;如果重复失败,或错误明确指向数据、权限、规则结构等问题,应先处理提示中的原因。

反馈问题时,保留任务名称或编号、发生时间、错误提示和相关截图,便于定位。无需为了重试而删除已有任务和标注。

4. 阅读优化结果

image

优化结束后,在 智能优化 查看完成结果及当前版本,点击 查看优化报告。也可以进入版本与报告,在 优化历史 中找到对应记录并点击 看报告。

建议按以下顺序审阅:

  1. 确认结果对应的对象。 核对规则名称、任务和本轮优化记录,避免把不同规则或不同轮次的结果混用。

  2. 查看规则改动。 在报告的 规则对比 中检查是否补充了需要的条件,是否引入了新的歧义或过度限制。

  3. 比较优化前后效果。 结合报告中的准确率及样本范围,确认变化发生在哪些样本上。对报告中展示的复评结果,也一并检查。

  4. 复核关键样本。 优先查看本轮希望修复的误判,以及原来判断正确、优化后可能受影响的案例。

  5. 决定是否继续验证或应用。 总体指标改善时,仍需确认业务上重要的情况没有退步。

准确率的含义和适用范围见调试规则与批量测评。不同样本范围上的准确率不能直接当作同条件的前后对比。

对于本例,可用以下检查表审阅规则变化:

核对对象

希望保留或改善的行为

确认办理退款但未告知到账时间

仍能识别为命中

确认办理退款并已告知到账时间

仍应判断为未命中

仅咨询退款流程

能依据“尚未确认办理”的条件排除

提醒出现在后续轮次

结合完整相关对话判断,不遗漏实际已完成的提醒

这些是审阅标准,不代表本轮一定能全部达到。需要检查逐条结果时,使用报告中的 下载明细;需要返回任务验证时,点击 打开工作台。若仍有疑问,可以继续用代表性对话验证,不必立即应用结果。

5. 区分查看版本、用于当前任务和更新实际规则

不同操作影响的对象不同,确认前请核对页面说明和目标规则。

操作的作用

影响对象

是否修改实际规则

查看报告,或点击 对比所选两版

供审阅的内容

否

点击 设为工作副本

当前任务后续调试、评测和优化使用的规则内容

否

优化完成后,新版本被设为任务当前版本

当前任务后续使用的规则内容

否

在优化结果下方的候选区域点击 采纳

实际规则的内容及其正式版本

是

任务中的当前工作内容,是后续测试和优化所使用的内容;历史版本用于保留和比较不同阶段的结果。优化结果需要经过审阅,再决定是继续在任务中验证,还是应用到实际规则。

需要比较任务中的两个版本时,进入 版本与报告,在 版本对比 中勾选两个版本,点击 对比所选两版。决定使用某个版本继续验证时,再点击该版本的 设为工作副本;报告中也提供这一操作。

设为工作副本 会改变任务接下来使用的规则内容。仅查看差异不会执行这一切换;优化完成后的自动切换和手动切换,也都不等于实际规则已经更新。

6. 确认并应用结果

image

确定结果符合业务要求后,返回 智能优化,在优化结果下方的候选区域执行采纳。

  1. 核对优化后的内容、目标规则及本轮结果,确认要应用的不是其他轮次的结果。

  2. 阅读页面中的影响说明,确认本次操作会更新绑定规则。

  3. 点击 采纳,按提示确认后检查结果;如果提示失败或冲突,先处理原因,不将其视为已经成功。

  4. 返回对应规则,核对新的规则内容和正式版本。

  5. 在实际使用该规则的质检流程中,确认规则启用状态、所属方案及使用关系,再验证业务效果。

应用成功表示规则内容已更新,实际使用范围还取决于规则的启用及方案配置。 不要仅凭优化任务显示完成就判断所有质检任务都已使用新内容。

如果提示规则已被其他人修改,应先核对当前规则与本次优化结果的差异,使用最新规则重新验证;必要时基于最新内容重新开展优化,避免用旧结果覆盖新的业务调整。

7. 必要时撤销采纳

已采纳的结果会显示 撤销采纳。需要恢复采纳前的规则描述时,先确认这次采纳之后没有其他需要保留的修改,再点击 撤销采纳 并检查操作结果。

撤销适用于已经采纳、且当前规则内容仍与这次采纳结果一致的情况。如果采纳后规则又被修改、规则结构发生变化,或原版本不可用,系统可能拒绝撤销。此时应到规则配置中核对并处理,避免覆盖后续变更。

撤销成功会用采纳前的规则描述生成一个新的正式版本,历史版本仍然保留。撤销后,再核对实际规则内容及业务使用效果。

多条规则或方案如何处理

多规则场景仍然需要按规则分别检查和审阅:

  1. 逐条确认规则内容、对应样本和有效标注是否准备充分。

  2. 查看每条规则的执行状态,分别处理未开始、运行中和已经结束的任务。

  3. 对已完成的规则,分别阅读报告并决定是否应用。

  4. 对失败的规则,确认结束状态并处理原因后,再单独重试。

一条规则失败不代表其他规则也失败;其他规则成功也不代表这一条已完成。不要为了重试少数失败任务,而重新提交已经成功或仍在运行的全部任务。

如果某一条规则包含多个维度,还应核对各维度的业务含义和对应改动。维度属于这条规则内部的判断结构,不等同于多条独立规则。

没有明显提升时怎么办

image

优化完成并不保证准确率提升,也不保证达到所有业务目标。先判断问题来自哪里,再决定下一轮操作。准备好下一轮输入后,可在智能优化 中点击 再次优化。

情况

下一步

初始规则已经较好,主要样本判断正确

检查剩余错误和业务价值,可以保留现有规则

同类对话的人工标注互相矛盾

统一业务口径并修正标注后再验证

样本集中在单一场景

补充应命中、未命中及边界样本

总体指标改善,但重要场景退步

暂缓应用,补充这些场景并继续验证

原始对话缺失或内容不适用

修正数据,避免让规则围绕不完整信息调整

本轮执行未正常完成

先按错误提示处理,确认任务结束后再决定重试

后续操作

•      需要进一步核对优化结果:继续调试规则与批量测评。

•      需要补充样本和标注:参见准备与管理自进化数据集。

•      希望将本轮人工纠错用于后续任务:参见复用数据与持续改进。