准备与管理自进化数据集
自进化数据集用于保存对话样本及其对应的人工标注，供后续规则评测和智能优化复用。本篇介绍如何从文件或线上质检记录准备数据，以及如何把样本整理成可用于判断规则效果的材料。
如果已经有可用数据集，可以直接阅读复用数据与持续改进。如果只想在一个任务中测试少量对话，也可以直接准备任务评测集，无需先创建独立数据集，操作见调试规则与批量测评。
适用场景
已有材料 | 建议的准备方式 |
已整理的对话和人工结论 | 下载目标规则的模板，填写并导入 |
只有对话，还没有人工结论 | 先导入对话，再补充标注 |
有线上质检任务和人工复核记录 | 从线上来源构建数据集，再检查标注 |
已有数据集，希望用于新的规则任务 |
自进化数据集与任务评测集的区别：前者用于积累和复用数据；后者是某个评测、优化任务实际使用的样本。任务使用数据集创建时，会复制当时的数据和对应标注。之后修改数据集，不会自动更新已有任务。
准备工作
开始前，请先明确以下内容：
• 目标规则：这批对话要验证什么，什么情况应命中，什么情况不应命中。
• 样本范围：包含哪些业务场景，来自哪个时间范围或业务阶段。
• 标注口径：有争议的案例按照什么标准判断，由谁确认。
如果还没有规则，先参考从业务需求生成规则。
本篇沿用虚构的“重要信息未提醒”示例：业务要求客服在确认办理退款时告知预计到账时间；没有告知应命中，仅咨询退款流程而未确认办理不适用。本例用于说明准备方法，不代表平台预设的业务规范。
从文件准备数据
1. 选择规则并下载模板
1. 进入 规则自进化 > 自进化数据集，在“评测数据集”列表选择 新建数据集。
2. 填写 名称；需要补充业务用途、样本范围等信息时，可填写 描述。
3. 将 数据来源 设为 文件导入，在 质检规则 中选择目标规则。
4. 选择 文件模板，下载该规则对应的 Excel 模板。
模板根据规则的维度生成。单维规则与多维规则的列不同；切换规则、规则版本或维度后，应重新取得匹配的模板。不要直接将其他规则的模板改名后使用。
只编辑模板中的“数据”工作表，保留表头、“说明”工作表和隐藏工作表。排序或复制数据时，请按整行操作，避免把对话和对应标注错开。
2. 填写对话与标注
每行填写一通完整对话。单维规则模板包含以下四列：
列名 | 填写方法 | 是否可以留空 |
对话内容 | 保留客户、客服角色及必要上下文；同一通对话放在同一个单元格中 | 否 |
理想回答 | 按目标规则填写“命中”或“未命中” | 可以，表示待标注 |
标注原因 | 说明为什么应有这一结论，尽量指出触发条件或排除条件 | 可以 |
涉及轮次 | 填写支撑判断的对话轮次，如 2、1,3 或 [1,3] | 可以 |
“理想回答”是人工确认的预期判断，不是让客服照着回复的话术，也不是直接复制模型当前的判断。
对话建议按下面的形式填写，每个轮次独占一行：
[1]客户：请帮我办理这笔订单的退款。
[2]客服：好的，已为您提交退款申请。
[3]客户：谢谢。
[4]客服：不客气。
对于示例规则，这条对话应填写：
理想回答 | 标注原因 | 涉及轮次 |
命中 | 第 2 轮已确认提交退款，检查完整对话后，未发现预计到账时间说明 | 2 |
“未提醒”通常需要检查完整对话才能判断。可以标记确认办理的相关轮次，并在原因中说明缺少哪项信息；不要为了填写“涉及轮次”而编造不存在的对话。
不知道理由该写什么时，用一两句话说明本例的关键情况，以及业务上为什么应当或无需这样做。现有规则没写清的适用条件或例外，也可以补充，参照标志理由填写示范中的实际案例。
再补充两类对照样本：
对话要点 | 理想回答 | 标注原因 |
客服确认办理退款，并明确说明“预计 1 至 3 个工作日到账” | 未命中 | 已履行本例的到账时间提醒要求 |
客户只问退款流程，客服介绍办理方式，尚未确认办理 | 未命中 | 尚未触发本例规则的办理确认条件 |
保留尚不能确定结论的样本时，将“理想回答”留空。可以先记录原因或需要核查的轮次，之后再补齐结论。留空不等于未命中。
3. 填写多维标注
如果一条规则包含多个判断维度，模板会按维度展开：
列的类型 | 示例 |
标注 | 标注：预计到账时间提醒 |
原因 | 原因：预计到账时间提醒 |
涉及轮次 | 涉及轮次：预计到账时间提醒 |
按各维度自己的定义分别判断。某个维度无法确定时可以留空，已经确认的其他维度仍可保留；不要把整条规则的“命中”统一填到每个维度上。
一条规则的最终结论取决于其维度组合方式。因此，“已能判断整条规则的结论”与“每个维度都完成标注”可能不同。对于尚不能判断的维度，应继续保留待标注状态。
部分导出文件还会带有“规则结论”列，用于保存独立确认、但尚不能由已有维度标注推导的整条规则结论。通常按维度填写即可；不要为了消除空白而重复补填“规则结论”。如果修改了维度标注，应同步检查该列，避免出现互相矛盾的结论。
4. 检查文件并导入
上传前检查以下内容：
对话内容完整，角色清楚，没有把一通对话拆成多条互不关联的样本。
标签只填写“命中”“未命中”或留空。
涉及轮次对应当前对话中真实、唯一的正整数编号；修改对话后重新核对轮次。
每个维度的标注原因不超过 2,000 个字符。
使用模板要求的 .xlsx 文件，文件不超过
10 MiB；单元格填写文本，不使用公式、宏、外部链接或加密工作簿。
回到新建数据集弹窗，在 文件上传 区域上传填写好的文件，完成后选择 创建。等待数据集处理完成，再在对应卡片上选择
查看，检查实际导入数量、对话和标注。文件上传成功只说明文件已经提交，不代表数据集已经构建完成。
如提示列名、规则版本、维度或轮次不匹配，按提示修正文件；规则发生变化时，重新下载模板并按新口径整理。不要通过删除隐藏工作表或随意改表头绕过校验。
任务中直接导入与独立数据集导入
两种方式都可以准备评测样本，但数据进入的位置不同：
导入位置 | 完成后的用途 |
独立自进化数据集 | 保存为可复用材料，后续选择它创建任务 |
现有任务的评测集 | 为当前任务增加样本，直接用于调试、评测或优化 |
任务内的入口位于工作台 批量评测 页，选择 导入数据集 后，可在“导入评测集（xlsx）”弹窗中
下载模板、选择文件并 导入。按实际下载模板的列填写文件，具体流程见调试规则与批量测评。
如果要把同一份文件用于任务，请核对任务绑定的规则及版本是否与文件匹配。再次导入会新增样本，不会按原行号覆盖已有内容；不要将“导出后修改再导入”当成原地修改现有样本的方法。
从线上质检记录准备数据
1. 选择来源
进入 规则自进化 > 自进化数据集，选择 新建数据集。
填写 名称，按需填写 描述，将 数据来源 设为 线上日志。
在 数据类型 中选择 语音 或 文本，再选择对应的 质检任务。
优先选择包含目标规则人工复核记录、且业务场景与本次目标一致的来源。
2. 设置范围并预估数量
在 会话时间中选择快捷范围，或填写起止时间；需要进一步缩小范围时，使用 高级搜索 设置条件。选择完成后查看预估会话数量；修改条件后核对新的预估数量，确认范围覆盖希望检查的业务场景。
“会话时间”筛选项在新建线上数据集时，实际按记录入库时间计算。排查数量差异时，应按同一时间口径核对来源，不要直接用实际通话发生时间比较。
3. 创建并等待构建完成
确认名称、来源和筛选范围后，选择 创建。构建期间可查看处理状态，完成后在数据集卡片上选择 查看，检查样本与标注。
预估数量表示符合查询条件的记录规模。构建还会检查对话内容、匹配人工复核材料并处理重复记录，因此最终入集数量可能少于预估数量。先核对构建结果与样本，再判断是否需要调整来源或范围。
4. 按规则检查标注
进入数据集详情，在顶部选择要使用的规则页签，抽查对应对话和标注。重点核对：
人工复核结论是否适用于当前目标规则。
对话是否保留了支持判断所需的完整上下文。
有争议、缺失或不完整的标注是否仍需人工确认。
关联多条规则时，各条规则下是否都有所需的标注。
某条对话已经进入数据集，不代表它对所有关联规则都已完成标注。线上模型判断可以作为核查线索，不能替代人工确认的预期结论。
检查样本质量与人工标注
无论数据来自文件还是线上记录，都建议在正式使用前检查以下内容：
检查项 | 如何处理 |
对话完整性 | 保留影响规则判断的前后文，避免仅凭单句作出结论 |
样本适用范围 | 保留目标场景，并补充容易被误判为适用的边界场景 |
结论覆盖 | 同时准备应命中、未命中及边界样本 |
重复与无效样本 | 检查重复导入、空白内容和无法理解的对话，避免它们影响效果判断 |
标注一致性 | 相同业务条件采用一致口径；有分歧的样本先确认再用于优化 |
标注原因 | 说明触发或排除条件，而不仅写“判断错误” |
需要补充或修正标注时：
在数据集详情顶部选择目标规则页签，找到要检查的样本，选择该行的标注。
在“理想回答标注”弹窗中阅读左侧完整对话，按每个维度的定义选择结果：命中 或 未命中。
在 反馈 中填写判断原因；在 涉及轮次 中关联支撑判断的轮次，也可以点击左侧对话的轮次图标进行选择。
核对结论与证据后选择 保存标注。暂时无法确认时选择 取消，不要为了完成标注而猜测结论。
对于多维规则，逐维核对，避免用整条规则的结论代替维度判断。
如果在评测任务中使用 AI 打标，先把结果当作待确认建议。检查正确后再采纳，存在问题时修正后保存。具体任务操作见调试规则与批量测评。
如此，在后续创建自进化任务时，可直接选择关联自进化数据集，会把相同的规则会话集和标注直接带入：
结果说明
准备完成后，你应得到一批对话完整、目标规则明确、人工判断口径一致的样本。数据集可以包含待标注项，但样本总数不等于有效标注数；评测和优化前还需检查所用规则的标注准备情况。
同一批对话可服务于多条规则，但每条规则都有各自的标注。一通对话对“重要信息未提醒”可能命中，对另一条服务态度规则则可能未命中，不能复制一个结论替代其他规则的判断。
后续操作
• 已准备好样本，希望验证规则效果：进入调试规则与批量测评。
• 已有可靠标注，希望改进规则：进入智能优化与应用结果。
• 希望用数据集创建新任务、保存本次标注或导出复用：进入复用数据与持续改进。
• 遇到导入数量、待标注或格式疑问：查看常见问题。