规则自进化概览

规则自进化使用指南

规则自进化帮助你把质检需求写成规则，用对话样本验证判断效果，再根据人工标注改进规则。你也可以将确认过的对话和标注整理为自进化数据集，供后续评测和优化使用。

本指南面向大模型质检规则，以人工标注和准确率为主要使用方式。创建任务时选择适用的大模型规则，使用默认评测方式即可。

在产品左侧的规则自进化菜单中，可以进入规则生成、自进化任务和自进化数据集。根据已有材料和当前目标，选择适合的入口即可。

使用路径

只想生成规则的用户，可以在获得并核对初始规则后结束。只想验证效果的用户，可以完成评测后结束。已有规则的用户可以跳过生成，已有可用数据集的用户可以直接复用。

完整流程

1. 描述需求，生成规则：写清检查对象、触发条件、应命中和不应命中的情况，核对生成内容是否符合业务口径。

2. 准备对话和人工标注： 收集代表性样本，为目标规则确认正确结论，补充判断原因。

3. 调试并批量评测：先用少量对话核对判断，再查看一批样本上的准确率和错误案例。

4. 发起智能优化： 用已确认的样本和标注帮助改进规则，查看优化报告和规则改动。

5. 审阅并应用结果：确认新规则解决了关心的问题，再执行更新正式规则的操作，并检查使用该规则的业务配置。

6. 复用已积累的数据：保存已确认的标注，补充新出现的误判和边界案例，供下一轮使用。

三个入口分别做什么

概念

规则、样本和标注

• 规则：描述业务判断标准。

• 对话样本：是一段需要判断的完整对话，包含参与角色和发言内容。

• 人工标注：是依据业务标准确认的预期结论。

• 模型判断：是规则在该样本上的实际输出。

例如，本指南使用一条虚构规则：客服确认办理退款时，应告知预计到账时间。确认办理却没有告知，应标注为“命中”；已经告知，或只是咨询流程而未确认办理，应标注为“未命中”。这里的命中表示符合这条规则所检查的问题，不能理解为“服务做得好”。

标注留空表示尚未确认，不能作为“未命中”使用。AI 预标结果需要核对后再作为人工结论使用。

任务评测集和自进化数据集

任务评测集服务于当前任务，用于调试、评测和优化。自进化数据集用于长期保存和复用样本及标注。

从数据集创建任务时，任务取得当时的数据和标注。之后修改数据集，不会自动更新已有任务；任务中修正的标注也需要明确沉淀后，才能用于后续复用。操作方法见复用数据与持续改进

准确率

准确率用于观察模型判断与人工标注的一致程度。查看时要同时关注参与比较的有效样本数量和具体错误案例。它反映本次评测数据上的表现，不能直接代表全部线上对话的效果。详细说明见复用数据与持续改进。

任务中的版本和正式规则

任务里可以保留不同版本，用于比较和继续验证。**设为工作副本**用于选择任务接下来使用的内容；工作台下方优化候选条的 **采纳** 会更新正式规则。优化成功产出的版本可能已自动成为任务当前版本，但仍需采纳候选才能更新正式规则。详细操作见智能优化与应用结果。

同时处理多条规则

如果希望处理多条规则或一个质检方案，可以按规则分别检查样本、标注和运行结果。同一段对话在不同规则下，可能有不同的正确结论；其中一条规则已完成标注，不代表其他规则也已准备好。

“多条规则”和“一条规则的多个判断维度”也不同。多条规则需要分别审阅结果；多维规则需要结合该规则的维度定义检查标注和判断。具体操作见准备与管理自进化数据集 和 调试规则与批量测评。