调试规则与批量评测
规则调试用于检查一条具体对话应当如何判断；批量评测用于了解规则在一批样本上的表现，并找出需要改进的情况。已有规则时，可以直接从本篇开始，无需重新生成规则。
本文沿用虚构的“重要信息未提醒”案例：客服确认办理退款时，应告知预计到账时间。确认办理但未告知时应命中；已告知，或用户仅咨询退款流程、尚未确认办理时不应命中。这是文档示例中的业务约定。
适用场景
刚生成或修改了规则，希望先检查典型对话的判断是否正确。
已有一批人工标注数据，希望查看准确率并定位误判。
需要验证多条规则，或检查一条规则中不同维度的判断。
希望在智能优化前，先了解现有规则的问题。
准备工作
开始前，请准备可使用的规则内容，以及与该规则相关的对话。若要计算准确率，还需要人工确认这些对话应当得到什么结论。
已有材料 | 准备方式 |
只有业务要求，没有规则 | 先阅读从业务需求生成规则 |
已有规则和少量对话 | 先做单条调试，再将有代表性的样本加入任务评测集 |
已有对话或标注文件 | 按准备与管理自进化数据集整理后导入 |
已有自进化数据集 | 按复用数据与持续改进创建用于目标规则的任务 |
人工标注表示业务上应有的结论，模型判断表示规则本次实际得出的结论。 二者不一致时，先核对业务依据，再决定修改规则还是修改标注。
操作步骤
1. 确认要测试的规则
进入 规则自进化→ 自进化任务，打开目标任务，确认规则名称、规则内容及当前使用的版本。
还没有任务时，点击 创建自进化任务：
按需要填写任务名称；名称为选填项。
已有单条或多条规则时，选择 选择已有质检规则；需要测试一个方案时，选择 选择已有质检方案。当前支持大模型规则，每条规则分别创建一个子任务。
已有数据集时，在 测评集数据 中选用；暂未准备好时可以留空，创建后再补充样本。
本指南采用人工标注与准确率的默认评测方式，保持多模型对比评测 关闭，核对后点击 创建。
没有规则时，也可以从创建页面的 生成新质检规则 开始，具体准备方式见从业务需求生成规则。
如果任务包含多条规则或来自一个方案，先进入要测试的那条规则。不同规则需要分别确认样本和标注；同一段对话对不同规则可能有不同的正确结论。
本例需要确认规则包含以下边界：
已确认办理退款，才检查预计到账时间是否提醒。
已明确告知预计到账时间，不应命中。
只咨询流程、尚未确认办理，不应命中。
若这些要求尚未写清，可以先完善规则，再进行调试。
2. 运行单条调试
进入 规则与调试，核对质检项定义，然后在 对话内容（调试用） 中输入对话。按页面提示保留序号、角色和发言内容，例如：
[1]客户：请帮我办理退款。
[2]客服：已经为您提交退款申请了。
[3]客户：好的，谢谢。
点击 生成模型回答，查看本次判断。
暂时没有合适的调试对话时，可以点击对话区域的 AI 自动生成 辅助构造测试对话。生成后先检查角色、业务场景和对话是否合理，再运行判断；后续批量验证仍应补充有代表性的真实业务样本。
建议先验证三类样本：明确应命中、明确不应命中，以及容易混淆的边界情况。以下是合成示例及其人工预期，不是实际模型运行结果。
样本 | 对话 | 人工预期 |
未提醒到账时间 | 用户：请帮我办理退款。 客服：已经为您提交退款申请了。 用户：好的，谢谢。 | 命中：确认办理后，相关对话中未告知预计到账时间 |
已提醒到账时间 | 用户：请帮我办理退款。 客服：已经为您提交退款申请，预计三个工作日内到账。 | 未命中：已告知预计到账时间 |
仅咨询流程 | 用户：如果以后申请退款，应该怎么操作？ 客服：您可以在订单详情中提交申请。 | 未命中：仅咨询流程，未确认办理退款 |
查看模型返回的结论和判断原因，重点检查：
是否识别了本例的触发条件，而不是只看到“退款”二字就判定命中。
是否使用了对话中实际出现的信息。
是否遗漏了后续轮次中的提醒，或混淆了用户与客服的发言。
如果判断不符合预期，先确认对话完整、规则口径明确。可以手动完善 质检项定义，也可以在反馈区域说明哪里判错了，再点击 反馈优化。反馈应包含正确结论和业务依据，例如：“这段对话仅咨询流程，尚未确认办理退款，应为未命中。”
检查修改后的规则，再点击 生成模型回答 验证，并同时检查其他类型的样本，避免修好一类情况却影响另一类。需要将当前对话留作批量验证时，点击 加入批量评测，然后进入 批量评测 核对样本并补充人工标注。
3. 准备任务评测集并确认标注
进入 批量评测，检查当前任务的样本。补充少量对话时，点击手动新增一条；已有文件时，点击 导入数据集。从调试页点击 加入批量评测 的样本，也应在这里核对。需要从可复用数据集开始时，参见复用数据与持续改进。
导入模板、文件填写方式和共同标注要求，参见准备与管理自进化数据集。在当前任务中，重点核对以下内容：
检查项 | 应如何确认 |
对话 | 内容完整，角色和顺序正确，能判断目标规则的触发条件 |
人工结论 | 根据业务口径填写命中或未命中；尚未确定的样本保留为待标注 |
标注原因 | 说明触发或排除的依据，避免只重复“命中”“未命中” |
相关轮次 | 标出支持判断的发言；判断“未提醒”时，要结合完整的相关对话 |
所属规则或维度 | 确认标注对应当前测试对象，未标注的其他规则或维度不能直接沿用结论 |
导入格式：
必填项是对话内容和理想回答
对话内容 | 理想回答 | 标注原因 |
[1]客户：你好，我的订单一直没发货 [2]客服：您好，已为您加急处理 | 未命中 | 客服正常响应并给出处理方案（请按当前规则判定） |
导入即可
空白标注不代表未命中。 页面提供 AI 标注理想回答 面板，可通过 AI 打标 辅助准备标注。使用前先按面板提示准备模型回答，完成后逐条检查并纠正建议，再将其作为人工预期使用。不要为了让准确率变高而直接把模型答案当作正确答案。
4. 发起批量评测
确认当前规则内容已保存，评测集中的对话和标注已完成本轮检查。
记录本次测试所用的规则版本和样本范围。
点击 批量生成回答；如果页面提供范围选择，确认本次需要处理的范围后再提交。
等待本轮执行结束，结合 总数、已生成回答数和 理想回答数 检查完成情况，以及尚未得到有效判断或缺少标注的样本。
查看准确率，再逐条分析人工标注与模型判断不一致的样本。
同一任务已有评测运行时，先等待完成或完成停止操作，再发起下一轮。页面暂未更新时，先查看现有任务的执行状态，避免重复提交。
规则内容或对话修改后，应重新运行受影响的评测，再比较结果。比较两个版本时，尽量使用同一批样本和相同的人工标注；如果数据范围发生了变化，要同时说明变化，避免把数据差异误认为规则提升。
结果说明
准确率代表什么
准确率反映规则在本次可比较样本上的判断与人工标注一致的比例。样本只有同时具备可用的人工结论和模型结论，才能参与这一比较。
准确率 = 判断与人工标注一致的样本数 ÷ 可比较样本数
例如，假设评测集中有 100 条对话，其中 80 条同时具备可用的人工结论和模型结论，72
条判断一致，则这次可比较样本的准确率为 90%。这个数字仅用于解释计算方式，不是产品实测结果。
页面的 准确率旁会显示已比对数量。查看结果时，将它与 总数、已生成回答数 和 理想回答数 一起核对，确认评测是否完成、是否存在待标注或没有有效判断的样本。少量容易判断的样本得到较高准确率，并不能代表规则对全部线上对话都有同样的效果。
如何分析判断不一致的样本
按以下顺序排查，可以减少无效调整：
现象 | 优先检查 | 后续处理 |
模型命中，人工标注未命中 | 是否误用了触发条件，是否遗漏了排除情况 | 确认规则问题后，补充适用范围或排除条件 |
模型未命中，人工标注命中 | 是否漏掉关键发言，规则是否表达不清 | 补充业务定义、触发条件或代表性样本 |
模型理由合理，但与人工标注不同 | 标注是否过期、口径是否一致 | 先纠正标注，再查看结果；不要反向修改正确规则来迎合错误标注 |
无法判断是否命中 | 对话是否缺失，是否有足够业务信息 | 补充完整对话；无法确认的样本先不作为确定结论使用 |
总体准确率较高，某类样本仍经常出错 | 这类场景是否数量少、是否被平均值掩盖 | 单独检查并补充这类样本 |
在退款案例中，如果“仅咨询流程”的样本被判断为命中，应先检查规则是否明确要求“客服已确认办理退款”。如果提醒出现在后面的轮次，则应先确认样本是否保留了完整对话。
多条规则与多个维度如何看
多条规则是多个独立的测试对象。请分别查看每条规则的评测完成情况、标注覆盖和准确率。一条规则的结果不能代替其他规则的结果。
一条规则的多个维度共同参与该规则的判断。分析结果时，既要核对各维度的结论，也要核对最终规则结论；最终结论由该规则设置的命中条件决定，不能直接用“命中了几个维度”代替规则结论。
某些维度有标注，不等于全部维度都已标注完成。需要补充哪些标注，以当前规则及页面提示为准。