本篇介绍如何复用已有数据集、将任务中的人工标注沉淀到数据集,以及导出文件后再次使用。
完成一次评测或优化后,可以把已确认的样本与标注保存下来,用于后续验证和改进。
如果还没有准备数据,先阅读准备与管理自进化数据集。
适用场景
已有一批可用数据,希望用它测试新的规则版本。
在任务中发现并修正了标注,希望保留这些人工判断。
积累了新的误判和边界案例,希望用于下一轮改进。
需要导出对话与标注,在整理后再次导入使用。
准备工作
明确本次复用的目标规则和数据用途,再确认以下事项:
数据集已完成构建,能够正常查看样本。
目标规则的业务口径与这批样本相符。
需要保留的标注已由人工检查,尚未确认的内容继续保留为待标注。
如涉及多条规则,分别检查对应标注;不要只查看数据集总样本数。
复用已有数据集
1. 检查数据与目标规则是否匹配
进入 规则自进化> 自进化数据集,在目标数据集卡片上选择查看,通过顶部规则页签查看对应标注。确认要测试的规则包含在本次使用范围内,并抽查典型命中、未命中和边界样本。
如果只是修改规则措辞、业务标准仍相同,可以沿用已经确认的业务结论,但仍应检查规则及维度是否匹配。如果业务口径发生变化,先重新审查受影响的标注,避免用旧标准评估新规则。
例如,原规则只要求退款办理时告知预计到账时间,后来又增加了到账方式要求。原有标注不一定足以支持新的判断,需要补查相关对话和新维度。
2. 创建任务并选择数据集
进入 规则自进化 > 自进化任务,选择 创建自进化任务。
选择 选择已有质检规则 或 选择已有质检方案,再选择要验证的目标。当前支持大模型规则,每条规则分别创建子任务。
在 测评集数据 中选择本次使用的数据集,按需填写 任务名称,然后提交创建。
创建完成后,检查实际带入的样本数量和该规则的标注情况。
涉及多条规则时,分别进入对应任务查看。即使使用同一数据集,不同规则能使用的有效标注数量也可能不同。
如有样本尚未标注、规则结构不匹配或数量未全部带入,先检查任务提示并补齐需要的数据,再开始评测。不要把“已选择数据集”理解为所有规则均已准备完成。
3. 在新任务中验证
先用典型样本调试,再进行批量评测。根据实际判断不一致的样本,决定修正标注、调整规则或发起智能优化。
理解数据集与任务的关系
任务使用创建时复制的数据和标注,不会持续跟随原数据集变化。
操作 | 影响范围 |
修改数据集中的标注 | 修改该数据集,不自动修改已创建任务的评测集 |
在任务中修正标注 | 修改当前任务的评测集,不自动写回数据集 |
用更新后的数据集创建新任务 | 新任务使用创建时带入的数据和标注 |
将任务标注沉淀到数据集 | 将当前任务中符合要求的样本与标注写入所选目标,完成后需要核对结果 |
这种复制关系便于保留一次评测所使用的材料。需要让新一轮验证使用最新标注时,应明确选择更新后的数据;已有任务中的旧报告不会因为数据集被修改而重新计算。
保存任务中已确认的人工标注
在任务中确认或修正了判断后,可以通过标注沉淀,将需要保留的样本与标注保存到目标数据集。
1. 确认要保留的内容
检查任务中的人工结论、原因和涉及轮次。保留有明确业务依据的标注,纠正错误的预标建议;尚有争议的结论继续保留为待标注。
多维规则应按维度保存人工判断。只修改整条规则的结论,无法替代各维度的标注,也不应把同一个结论复制给所有维度。
标注沉淀以已形成可信规则结论的样本为主。没有有效人工结论或仍为未确认建议的样本可能被跳过,不能仅凭任务样本总数判断实际保存数量。
2. 选择目标数据集并提交
进入目标规则任务的 批量评测 页,选择 沉淀到自进化数据集。
在 选择目标数据集 下拉框中选择保存位置,核对规则与维度是否匹配。
核对本任务中拟沉淀的已确认条目,再选择沉淀。
此处按当前任务中符合要求的条目处理,没有单独选择样本范围的步骤。提交前确认目标名称,避免将仅适用于某个业务阶段的样本放入不相关的数据集。
写入方式取决于样本与目标的关系:
样本与目标的关系 | 处理方式 |
样本最初由该数据集带入任务,本次沉淀回同一来源 | 核对原样本与标注状态后,更新需要变更的标注;未变化的内容可能跳过 |
样本是在任务中导入的,或要沉淀到其他数据集 | 在目标数据集中新增样本及对应标注 |
沉淀回来源时,如果原数据集的会话或标注已被修改,可能出现冲突提示。此时先到数据集核对最新内容,再决定如何修正,不要用旧任务结论覆盖后来确认的新标注。
3. 查看保存结果
提交后查看处理结果,再到目标数据集检查新增或更新的样本。若有跳过项,核对是否为内容未变化、尚无可保留标注等情况;如有冲突或规则不匹配提示,处理后再继续。
此操作保存的是当前任务中符合沉淀要求的数据和标注,不会建立自动同步关系,也不会修改线上质检任务的原始人工复核记录。
导出数据并再次使用
1. 选择要导出的规则
进入 规则自进化> 自进化数据集,在目标数据集卡片上选择 查看。在详情顶部选择目标规则页签,再选择导出数据。按规则导出的文件包含该规则下的全部对话及对应标注,包括待标注项,不只包含当前页。
一个数据集关联多条规则时,按需要分别导出。不要把某一条规则的导出文件当成所有关联规则标注的合集。
2. 检查并保存文件
下载完成后,抽查文件中的对话、结论、原因和涉及轮次是否完整。当前普通按规则导出的Excel 文件,可用于匹配规则及版本的数据导入。
建议在本地文件名中记录业务用途、规则名称和导出日期,便于区分不同批次。修改文件名不会改变文件所绑定的规则及版本。
编辑时遵循标志理由填写示范:只编辑“数据”工作表,保留表头和隐藏工作表;修改对话后重新核对标注与轮次,不使用公式。
如果导出提示存在无法完整保留的历史信息,不要自行删除标注原因或证据来强行导出。保留原数据集,按错误提示处理;仅供审阅的历史文件也不能直接当作可复用导入模板。
3. 选择再次导入的位置
使用目的 | 处理方式 |
整理成新的可复用数据集 | 在数据集列表选择 新建数据集,将数据来源设为 文件导入,选择与文件匹配的质检规则后上传 |
为当前任务补充样本 | 在任务的 批量评测 页选择 导入数据集,在弹窗中选择文件并 导入;先核对任务绑定的规则与版本 |
导入完成后,检查新增样本数量,并抽查标注、原因和涉及轮次。规则或版本不匹配时,先取得目标规则的模板,再按目标口径整理内容,不要修改隐藏信息以强行匹配。
再次导入会新增样本,不会覆盖原有样本。如果目的是修正原条目的标注,应直接修改原条目;重复导入同一批内容,可能使任务或数据集中出现重复样本。
可复用导出用于交换对话和当前标注,不是完整的历史记录备份。不要把重新导入理解为恢复原来的样本编号、复核来源或修改历史。
持续改进示例
以下继续使用虚构的“重要信息未提醒”案例。
第一轮样本已经包含三类对话:“办理退款但未告知到账时间”“办理时已明确告知到账时间”,以及“只咨询退款流程、尚未确认办理”。后续使用中,又发现了两种表达方式不同的边界案例:
新案例 | 按本例口径确认的标注 | 需要说明的原因 |
客服先说明“预计 1 至 3 个工作日到账”,客户确认后,客服才提交同一笔退款申请 | 未命中 | 同一办理过程的前文已经明确提醒,不能只看最后确认办理的一轮 |
客服确认办理,并告知“预计本周五前到账” | 未命中 | 已明确告知预计到账时间,不必只接受“几个工作日”的表达 |
以上结论建立在本例的业务要求上。实际标注时,还应确认前文提醒是否属于同一笔退款,以及后续办理条件是否发生变化。
可以按以下步骤开展下一轮改进:
收集新案例。保留完整对话,找到到账时间提醒和办理确认各自所在的轮次。
核对业务口径。确认提醒是否属于当前退款办理,以及所用表达是否足够明确。
确认人工标注。按确认后的业务结论标注,并写明为什么前文提醒或不同时间表达满足要求。
加入数据积累。将已确认样本保存到合适的数据集,同时保留原来三类代表性样本。
开展新一轮验证。使用更新后的数据创建任务,检查新增边界案例是否改善,以及原有场景是否出现新的误判。
决定后续动作。根据评测结果调整规则或发起优化,再审阅变化与应用结果。
不要只保留上一轮判断错误的样本。保留常见场景和关键边界,才能同时观察问题是否解决、原本正确的判断是否仍然稳定。
当样本范围或人工标注发生变化时,两轮准确率不再是完全相同条件下的直接比较。判断规则是否改善,应同时检查各轮使用的数据、具体规则变化和典型样本结果。
结果说明
复用的目标是保留可靠的对话和人工判断,让后续验证从已有积累出发。每次使用时仍需确认目标规则、业务口径和标注是否匹配。
同一通对话可用于多条规则,但它在每条规则下的预期结论需要独立确认。复用对话可以减少整理工作,不能替代对新规则的标注检查。
后续操作
• 检查更新后的规则效果:阅读调试规则与批量测评。
• 使用新增案例改进规则:阅读智能优化与应用结果。
• 遇到数据同步、重复导入或标注差异问题:查看常见问题。