本文档介绍了如何完成一次规则优化。
快速上手：完成一次规则优化
本篇用“重要信息未提醒”案例，带你走过生成规则、准备样本、调试、批量评测、智能优化和结果审阅。完成后，你可以判断规则在哪些场景表现符合预期，并决定是否应用优化结果。案例中的业务要求和对话均为虚构材料，不代表平台预设规范，也不是实际运行结果。已有规则的用户可从第 2 步开始。
准备工作
本例检查一个明确的问题：客服已确认受理退款，但没有在相关对话中告知预计到账时间。
命中：已经确认受理退款，且没有告知预计到账时间。
未命中：已经明确告知预计到账时间，或对话尚未进入退款受理场景。
准备一批能覆盖这些情况的完整对话，并为每条对话确认正确结论。下面的三条对话用于说明准备方法，可以先用于单条调试；开展批量评测和优化时，应继续补充符合本业务的代表性样本，并满足页面的准备要求。
生成并确认初始规则
在导航中选择 规则自进化 → 规则生成。需要开始新记录时，点击 ＋ 新质检规则，在 描述你要检测的质检目标中填写需求，例如：
> 请生成“重要信息未提醒”规则：客服确认受理退款时，应在本次相关对话中告知预计到账时间；没有告知则命中，已经明确告知则未命中。用户只咨询退款流程、尚未办理时不适用。客服可提前说明或随后补充，不要求固定句式；“尽快处理”不算告知时间，用户自己提到时间而客服未确认也不算。请结合完整相关对话判断。
>点击 生成规则。生成后查看内容，确认它能区分“已办理但未提醒”“已办理且已提醒”和“仅咨询流程”。存在遗漏时，点击 优化你的规则，在 **你希望如何优化你的规则？** 中补充具体要求，再点击 优化并检查新内容。
确认内容后，点击 创建为质检规则，按页面提示完成创建，再核对名称和正文。本例将这份内容作为后续比较的初始规则。如果你继续使用的是已关联规则的生成记录，页面会提供 更新规则；该操作会修改已有规则，提交前应核对目标。
这里的 优化你的规则 依据文字反馈调整生成内容。第 5 步的 智能优化 使用任务中的对话和人工标注，两者的准备材料和用途不同。
详细说明见[从业务需求生成规则](01-从业务需求生成规则.md)。
准备对话和人工标注
在导航中选择 规则自进化 → 自进化任务，点击 创建自进化任务。本例已在上一步创建规则，因此选择选择已有质检规则，找到并勾选本例规则，保留默认评测方式，点击创建。本例使用人工标注与准确率，无需开启多模型对比评测。已有数据集时，也可以在测评集数据 中选用；本例在任务创建后补充对话。
进入任务的批量评测，点击手动新增一条，添加下面的对话和人工标注。已有文件时，点击导入数据集，在弹窗中下载模板，按模板填写后执行导入。
本例先准备三种情况：
样本 A：已受理，但未提醒
```latex
[1]客户：我想退掉昨天买的商品。
[2]客服：已核实符合退款条件，我现在为您受理退款。
[3]客户：好的，谢谢。
[4]客服：不客气，请耐心等待。
```
人工标注为**命中**。原因：客服已确认受理退款，但没有告知预计到账时间；“请耐心等待”不包含时间信息。样本 B：已受理，且已提醒
```latex
[1]客户：这笔订单可以退款吗？
[2]客服：可以，我已为您受理退款，预计 3 个工作日原路退回。
[3]客户：好的，我知道了。
```
人工标注为**未命中**。原因：客服已明确告知预计到账时间。样本 C：仅咨询流程
```latex
[1]客户：我想先了解一下退款需要哪些材料。
[2]客服：需要提供订单号和退款原因。
[3]客户：我再考虑一下，暂时不办理。
[4]客服：好的，需要办理时再联系我们。
```人工标注为**未命中**。原因：没有确认受理退款，不满足本例规则的适用条件。
为每条样本填写结论和判断原因，并关联能够支持判断的对话轮次。没有确认结论的样本应保留为待标注，不能用空白代替“未命中”。
继续补充不同表达和边界情况，例如客服先告知时间后受理、用户提到时间但客服未确认等。人工标注应来自已确认的业务口径，不能直接把模型本次输出当作正确答案。
文件准备和标注方法见[准备与管理自进化数据集](03-准备与管理自进化数据集.md)；已有数据集的使用方法见[复用数据与持续改进](06-复用数据与持续改进.md)。
用单条调试检查规则
进入目标任务的规则与调试页签，核对规则内容，在对话内容（调试用）中填入一条完整对话，点击生成模型回答。
先分别检查样本 A、B、C，查看模型判断是否与人工标注一致，并阅读判断原因。
如果出现这种判断 | 优先检查什么 |
样本A被判为未命中 | 是否误把“请耐心等待”当作已告知时间 |
样本 B 被判为命中 | 是否遗漏了客服明确说出的到账时间 |
样本 C 被判为命中 | 是否把仅咨询流程也纳入了必须提醒的场景 |
单条调试用于快速定位具体问题。几条对话判断正确，还不足以说明规则在其他表达或业务场景下同样有效。
需要保留新的调试样本时，可以点击 加入批量评测，再到批量评测中确认人工标注。已经加入任务的相同样本，无需重复添加。
运行批量评测，了解初始效果
进入批量评测页签，确认当前规则和任务中的样本、人工标注，点击 批量生成回答。
完成后，先查看评测是否完成，再结合页面显示的准确率和样本结果检查：
哪些判断与人工标注不一致。
不一致是否集中在某类场景，例如适用范围或模糊时间表达。
样本是否完整，人工标注是否符合当前业务口径。
准确率描述的是本次评测中按有效标注参与比较的样本表现，不能直接视为所有线上对话的准确率。发现标注错误时，先修正标注并重新评测；只有业务结论可靠，后续优化才有明确依据。
保留初始评测结果，作为后续判断是否改善的参照。更多结果解释见[调试规则与批量评测](04-调试规则与批量评测.md)。
发起智能优化
进入智能优化页签，查看准备情况，确认：
规则内容完整，并与本次需要改进的业务目标一致。
任务中已有可用对话，覆盖应命中、未命中及关键边界情况。
用于优化的人工标注已经确认，存在分歧的口径已处理。
按页面提示补齐阻止启动的缺项，并结合建议完善样本覆盖。打开优化目标设置，选择目标准确率；本例可使用默认的90%（均衡），点击 保存，再点击页面上的开始智能优化。
目标准确率用于指导本轮优化，不代表最终一定能达到该数值。
运行期间查看任务进度，完成后查看结果。如果失败，先阅读失败提示并确认任务已结束，再按[常见问题](07-常见问题.md)处理。
阅读结果，决定是否应用
优化成功后，点击查看优化报告；历史结果也可以在版本与报告中查看。先比较规则变化，再结合准确率和样本结果判断改动是否符合预期。
本例应重点核对：
是否仍将“已确认受理退款”作为适用条件。
是否能区分明确的到账时间和“尽快处理”等模糊表达。
是否保留提前说明、随后补充等合理情况。
是否改善了原先关注的误判，同时保持对其他典型样本的正确判断。
优化结果可能改善部分问题，也可能没有明显提升。不要仅凭一次准确率上升就应用结果；还应检查改动是否符合业务要求，以及是否增加了新的误判。
优化产出升为新版本时，会自动设为当前任务使用的版本，但不会自动更新实际质检规则。报告中的 **设为工作副本** 也只改变当前任务使用的内容，便于继续验证。
确认要将结果应用到实际规则时，核对工作台下方候选条中的目标与内容，再点击 **采纳**。该操作会更新绑定的质检规则，不能与报告中的 **设为工作副本** 混用。
更新实际规则后，检查规则正文和使用状态，并确认目标质检方案的相关配置。优化完成不等于自动投入业务使用。详细操作和影响说明见[智能优化与应用结果](05-智能优化与应用结果.md)。
保留样本，用于下一轮改进
把本次已经确认的对话、人工结论和纠错原因沉淀或导出保存，便于后续复用。将来遇到新的表达或误判时，先确认业务结论，再补充样本，开展下一轮评测。
例如，发现客服说“资金会在周五之前退回”，而规则未能正确理解，可以将这类对话补充为新的边界样本。新增样本的价值在于覆盖此前没有验证过的情况，无需只重复已有的正确样本。
具体方法见[复用数据与持续改进](06-复用数据与持续改进.md)。