本文沿用虚构的“重要信息未提醒”案例:客服确认办理退款时,应告知预计到账时间;仅咨询流程时,本例规则不适用。
智能优化根据规则、对话和已确认的人工标注,尝试改进规则内容,并生成供用户审阅的结果。优化产出的新版本可能已被设为任务当前版本,实际规则仍需通过采纳 更新。请结合业务口径和评测表现审阅结果,不要仅凭优化完成就判断它已在线上生效。
适用场景
批量评测发现了误判,希望利用已标注样本改进规则。
规则适用范围或边界不够清楚,希望比较优化前后的判断。
已有一批可靠标注,希望生成可供审阅的新规则版本。
需要分别优化多条规则,并逐条决定是否采用结果。
如果只是想查看规则当前判得对不对,可以先完成调试规则与批量测评,不必直接发起优化。
准备工作
进入 规则自进化→ 自进化任务,打开目标规则任务的 智能优化,检查规则、样本和标注的准备情况。
检查项 | 需要准备什么 |
规则内容 | 有明确的业务要求、触发条件和适用范围,正文不为空 |
对话样本 | 任务评测集非空,对话完整且适用于当前规则 |
有效标注 | 有可用的人工结论,内容与当前规则或维度对应 |
场景覆盖 | 包含应命中、未命中及容易混淆的边界情况 |
当前运行状态 | 确认同一任务没有尚未结束的优化 |
先处理页面标出的必需项,再考虑样本数量和覆盖方面的建议。推荐样本数量有助于改善代表性,不应与启动优化的必需条件混淆;是否可以开始,以当前任务的准备检查结果为准。
需要补充样本时,点击 去添加数据;需要完善标注时,点击 去标注理想回答,完成后返回智能优化 再次检查。
如果页面提示缺少某类样本或标注,请补充真实适用的对话并确认结论。例如需要未命中样本时,可补充已提醒到账时间或仅咨询流程的案例,不要把原本应命中的样本改成未命中来满足条件。
数据准备及标注方式见准备与管理自进化数据集。
操作步骤
1. 明确本轮要解决的问题
在提交前,用一句话说明希望解决的问题,并找出对应的样本。
例如:
当前规则容易把“仅咨询退款流程”的对话判断为未提醒到账时间。本轮希望明确“已确认办理退款”这一触发条件,同时保留对实际漏提醒情况的识别。
这里的目标用于帮助你准备样本和审阅结果,不要求必须在页面额外填写一段说明。相比只关注总体准确率,明确具体问题更容易判断优化是否有实际价值。
2. 配置并发起优化

进入目标规则任务的 智能优化,确认当前规则和数据是本次要使用的内容。
处理准备检查中尚未满足的必需项。
点击 优化目标设置,在弹窗中选择 目标准确率。首次使用可以保留 90%·均衡(默认推荐),点击保存;不保留本次设置时点击 取消。
查看本轮的预估轮数和时间。这些值用于了解大致投入,不保证实际耗时或最终效果;选择目标准确率也不意味着本轮一定能达到该目标。
点击 开始智能优化,查看任务是否进入等待或执行状态。
判定模型沿用规则绑定的线上模型,本页无需另行选择模型。当前优化设置中需要选择的是目标准确率,不需要手动配置迭代轮数。
发起后保持本轮规则、样本和标注稳定。如发现输入有误,需要先完成停止操作,修正后再重新发起,避免在执行过程中改变比较依据。
3. 查看进度,处理停止或失败
执行过程中,可以在当前任务查看进度。处理方式取决于任务是否已经结束:
当前情况 | 建议操作 |
正在等待或执行 | 等待现有任务继续推进,不重复发起同一任务 |
已提出停止,仍在停止中 | 等待页面确认最终状态,再决定是否重试 |
已完成并生成结果 | 进入结果审阅,检查规则改动与评测表现 |
已失败 | 阅读错误提示,确认任务已结束后再处理原因或重新发起 |
已取消 | 根据本次取消原因修正输入或设置,准备好后再发起 |
执行失败不一定表示规则或数据有问题,也可能是一次服务调用未成功。对于已经结束的偶发执行失败,可重新发起一次;如果重复失败,或错误明确指向数据、权限、规则结构等问题,应先处理提示中的原因。
反馈问题时,保留任务名称或编号、发生时间、错误提示和相关截图,便于定位。无需为了重试而删除已有任务和标注。
4. 阅读优化结果

优化结束后,在 智能优化 查看完成结果及当前版本,点击 查看优化报告。也可以进入版本与报告,在 优化历史 中找到对应记录并点击 看报告。
建议按以下顺序审阅:
确认结果对应的对象。 核对规则名称、任务和本轮优化记录,避免把不同规则或不同轮次的结果混用。
查看规则改动。 在报告的 规则对比 中检查是否补充了需要的条件,是否引入了新的歧义或过度限制。
比较优化前后效果。 结合报告中的准确率及样本范围,确认变化发生在哪些样本上。对报告中展示的复评结果,也一并检查。
复核关键样本。 优先查看本轮希望修复的误判,以及原来判断正确、优化后可能受影响的案例。
决定是否继续验证或应用。 总体指标改善时,仍需确认业务上重要的情况没有退步。
准确率的含义和适用范围见调试规则与批量测评。不同样本范围上的准确率不能直接当作同条件的前后对比。
对于本例,可用以下检查表审阅规则变化:
核对对象 | 希望保留或改善的行为 |
确认办理退款但未告知到账时间 | 仍能识别为命中 |
确认办理退款并已告知到账时间 | 仍应判断为未命中 |
仅咨询退款流程 | 能依据“尚未确认办理”的条件排除 |
提醒出现在后续轮次 | 结合完整相关对话判断,不遗漏实际已完成的提醒 |
这些是审阅标准,不代表本轮一定能全部达到。需要检查逐条结果时,使用报告中的 下载明细;需要返回任务验证时,点击 打开工作台。若仍有疑问,可以继续用代表性对话验证,不必立即应用结果。
5. 区分查看版本、用于当前任务和更新实际规则
不同操作影响的对象不同,确认前请核对页面说明和目标规则。
操作的作用 | 影响对象 | 是否修改实际规则 |
查看报告,或点击 对比所选两版 | 供审阅的内容 | 否 |
点击 设为工作副本 | 当前任务后续调试、评测和优化使用的规则内容 | 否 |
优化完成后,新版本被设为任务当前版本 | 当前任务后续使用的规则内容 | 否 |
在优化结果下方的候选区域点击 采纳 | 实际规则的内容及其正式版本 | 是 |
任务中的当前工作内容,是后续测试和优化所使用的内容;历史版本用于保留和比较不同阶段的结果。优化结果需要经过审阅,再决定是继续在任务中验证,还是应用到实际规则。
需要比较任务中的两个版本时,进入 版本与报告,在 版本对比 中勾选两个版本,点击 对比所选两版。决定使用某个版本继续验证时,再点击该版本的 设为工作副本;报告中也提供这一操作。
设为工作副本 会改变任务接下来使用的规则内容。仅查看差异不会执行这一切换;优化完成后的自动切换和手动切换,也都不等于实际规则已经更新。
6. 确认并应用结果

确定结果符合业务要求后,返回 智能优化,在优化结果下方的候选区域执行采纳。
核对优化后的内容、目标规则及本轮结果,确认要应用的不是其他轮次的结果。
阅读页面中的影响说明,确认本次操作会更新绑定规则。
点击 采纳,按提示确认后检查结果;如果提示失败或冲突,先处理原因,不将其视为已经成功。
返回对应规则,核对新的规则内容和正式版本。
在实际使用该规则的质检流程中,确认规则启用状态、所属方案及使用关系,再验证业务效果。
应用成功表示规则内容已更新,实际使用范围还取决于规则的启用及方案配置。 不要仅凭优化任务显示完成就判断所有质检任务都已使用新内容。
如果提示规则已被其他人修改,应先核对当前规则与本次优化结果的差异,使用最新规则重新验证;必要时基于最新内容重新开展优化,避免用旧结果覆盖新的业务调整。
7. 必要时撤销采纳
已采纳的结果会显示 撤销采纳。需要恢复采纳前的规则描述时,先确认这次采纳之后没有其他需要保留的修改,再点击 撤销采纳 并检查操作结果。
撤销适用于已经采纳、且当前规则内容仍与这次采纳结果一致的情况。如果采纳后规则又被修改、规则结构发生变化,或原版本不可用,系统可能拒绝撤销。此时应到规则配置中核对并处理,避免覆盖后续变更。
撤销成功会用采纳前的规则描述生成一个新的正式版本,历史版本仍然保留。撤销后,再核对实际规则内容及业务使用效果。
多条规则或方案如何处理
多规则场景仍然需要按规则分别检查和审阅:
逐条确认规则内容、对应样本和有效标注是否准备充分。
查看每条规则的执行状态,分别处理未开始、运行中和已经结束的任务。
对已完成的规则,分别阅读报告并决定是否应用。
对失败的规则,确认结束状态并处理原因后,再单独重试。
一条规则失败不代表其他规则也失败;其他规则成功也不代表这一条已完成。不要为了重试少数失败任务,而重新提交已经成功或仍在运行的全部任务。
如果某一条规则包含多个维度,还应核对各维度的业务含义和对应改动。维度属于这条规则内部的判断结构,不等同于多条独立规则。
没有明显提升时怎么办

优化完成并不保证准确率提升,也不保证达到所有业务目标。先判断问题来自哪里,再决定下一轮操作。准备好下一轮输入后,可在智能优化 中点击 再次优化。
情况 | 下一步 |
初始规则已经较好,主要样本判断正确 | 检查剩余错误和业务价值,可以保留现有规则 |
同类对话的人工标注互相矛盾 | 统一业务口径并修正标注后再验证 |
样本集中在单一场景 | 补充应命中、未命中及边界样本 |
总体指标改善,但重要场景退步 | 暂缓应用,补充这些场景并继续验证 |
原始对话缺失或内容不适用 | 修正数据,避免让规则围绕不完整信息调整 |
本轮执行未正常完成 | 先按错误提示处理,确认任务结束后再决定重试 |
后续操作
• 需要进一步核对优化结果:继续调试规则与批量测评。
• 需要补充样本和标注:参见准备与管理自进化数据集。
• 希望将本轮人工纠错用于后续任务:参见复用数据与持续改进。