复用数据与持续改进

更新时间:
复制 MD 格式

本篇介绍如何复用已有数据集、将任务中的人工标注沉淀到数据集,以及导出文件后再次使用。

完成一次评测或优化后,可以把已确认的样本与标注保存下来,用于后续验证和改进。

如果还没有准备数据,先阅读准备与管理自进化数据集。

适用场景

  • 已有一批可用数据,希望用它测试新的规则版本。

  • 在任务中发现并修正了标注,希望保留这些人工判断。

  • 积累了新的误判和边界案例,希望用于下一轮改进。

  • 需要导出对话与标注,在整理后再次导入使用。

准备工作

明确本次复用的目标规则和数据用途,再确认以下事项:

  1. 数据集已完成构建,能够正常查看样本。

  2. 目标规则的业务口径与这批样本相符。

  3. 需要保留的标注已由人工检查,尚未确认的内容继续保留为待标注。

  4. 如涉及多条规则,分别检查对应标注;不要只查看数据集总样本数。

复用已有数据集

1. 检查数据与目标规则是否匹配

进入 规则自进化> 自进化数据集,在目标数据集卡片上选择查看,通过顶部规则页签查看对应标注。确认要测试的规则包含在本次使用范围内,并抽查典型命中、未命中和边界样本。

如果只是修改规则措辞、业务标准仍相同,可以沿用已经确认的业务结论,但仍应检查规则及维度是否匹配。如果业务口径发生变化,先重新审查受影响的标注,避免用旧标准评估新规则。

例如,原规则只要求退款办理时告知预计到账时间,后来又增加了到账方式要求。原有标注不一定足以支持新的判断,需要补查相关对话和新维度。

2. 创建任务并选择数据集

  1. 进入 规则自进化 > 自进化任务,选择 创建自进化任务。

  2. 选择 选择已有质检规则 或 选择已有质检方案,再选择要验证的目标。当前支持大模型规则,每条规则分别创建子任务。

  3. 在 测评集数据 中选择本次使用的数据集,按需填写 任务名称,然后提交创建。

  4. 创建完成后,检查实际带入的样本数量和该规则的标注情况。

涉及多条规则时,分别进入对应任务查看。即使使用同一数据集,不同规则能使用的有效标注数量也可能不同。

如有样本尚未标注、规则结构不匹配或数量未全部带入,先检查任务提示并补齐需要的数据,再开始评测。不要把“已选择数据集”理解为所有规则均已准备完成。

3. 在新任务中验证

先用典型样本调试,再进行批量评测。根据实际判断不一致的样本,决定修正标注、调整规则或发起智能优化。

详细步骤见调试规则与批量测评和智能优化与应用结果。

理解数据集与任务的关系

任务使用创建时复制的数据和标注,不会持续跟随原数据集变化。

操作

影响范围

修改数据集中的标注

修改该数据集,不自动修改已创建任务的评测集

在任务中修正标注

修改当前任务的评测集,不自动写回数据集

用更新后的数据集创建新任务

新任务使用创建时带入的数据和标注

将任务标注沉淀到数据集

将当前任务中符合要求的样本与标注写入所选目标,完成后需要核对结果

这种复制关系便于保留一次评测所使用的材料。需要让新一轮验证使用最新标注时,应明确选择更新后的数据;已有任务中的旧报告不会因为数据集被修改而重新计算。

保存任务中已确认的人工标注

在任务中确认或修正了判断后,可以通过标注沉淀,将需要保留的样本与标注保存到目标数据集。

1. 确认要保留的内容

检查任务中的人工结论、原因和涉及轮次。保留有明确业务依据的标注,纠正错误的预标建议;尚有争议的结论继续保留为待标注。

多维规则应按维度保存人工判断。只修改整条规则的结论,无法替代各维度的标注,也不应把同一个结论复制给所有维度。

标注沉淀以已形成可信规则结论的样本为主。没有有效人工结论或仍为未确认建议的样本可能被跳过,不能仅凭任务样本总数判断实际保存数量。

2. 选择目标数据集并提交

  1. 进入目标规则任务的 批量评测 页,选择 沉淀到自进化数据集。

  2. 在 选择目标数据集 下拉框中选择保存位置,核对规则与维度是否匹配。

  3. 核对本任务中拟沉淀的已确认条目,再选择沉淀。

此处按当前任务中符合要求的条目处理,没有单独选择样本范围的步骤。提交前确认目标名称,避免将仅适用于某个业务阶段的样本放入不相关的数据集。

写入方式取决于样本与目标的关系:

样本与目标的关系

处理方式

样本最初由该数据集带入任务,本次沉淀回同一来源

核对原样本与标注状态后,更新需要变更的标注;未变化的内容可能跳过

样本是在任务中导入的,或要沉淀到其他数据集

在目标数据集中新增样本及对应标注

沉淀回来源时,如果原数据集的会话或标注已被修改,可能出现冲突提示。此时先到数据集核对最新内容,再决定如何修正,不要用旧任务结论覆盖后来确认的新标注。

3. 查看保存结果

提交后查看处理结果,再到目标数据集检查新增或更新的样本。若有跳过项,核对是否为内容未变化、尚无可保留标注等情况;如有冲突或规则不匹配提示,处理后再继续。

此操作保存的是当前任务中符合沉淀要求的数据和标注,不会建立自动同步关系,也不会修改线上质检任务的原始人工复核记录。

导出数据并再次使用

1. 选择要导出的规则

进入 规则自进化> 自进化数据集,在目标数据集卡片上选择 查看。在详情顶部选择目标规则页签,再选择导出数据。按规则导出的文件包含该规则下的全部对话及对应标注,包括待标注项,不只包含当前页。

一个数据集关联多条规则时,按需要分别导出。不要把某一条规则的导出文件当成所有关联规则标注的合集。

2. 检查并保存文件

下载完成后,抽查文件中的对话、结论、原因和涉及轮次是否完整。当前普通按规则导出的Excel 文件,可用于匹配规则及版本的数据导入。

建议在本地文件名中记录业务用途、规则名称和导出日期,便于区分不同批次。修改文件名不会改变文件所绑定的规则及版本。

编辑时遵循标志理由填写示范:只编辑“数据”工作表,保留表头和隐藏工作表;修改对话后重新核对标注与轮次,不使用公式。

如果导出提示存在无法完整保留的历史信息,不要自行删除标注原因或证据来强行导出。保留原数据集,按错误提示处理;仅供审阅的历史文件也不能直接当作可复用导入模板。

3. 选择再次导入的位置

使用目的

处理方式

整理成新的可复用数据集

在数据集列表选择 新建数据集,将数据来源设为 文件导入,选择与文件匹配的质检规则后上传

为当前任务补充样本

在任务的 批量评测 页选择 导入数据集,在弹窗中选择文件并

导入;先核对任务绑定的规则与版本

导入完成后,检查新增样本数量,并抽查标注、原因和涉及轮次。规则或版本不匹配时,先取得目标规则的模板,再按目标口径整理内容,不要修改隐藏信息以强行匹配。

再次导入会新增样本,不会覆盖原有样本。如果目的是修正原条目的标注,应直接修改原条目;重复导入同一批内容,可能使任务或数据集中出现重复样本。

可复用导出用于交换对话和当前标注,不是完整的历史记录备份。不要把重新导入理解为恢复原来的样本编号、复核来源或修改历史。

持续改进示例

以下继续使用虚构的“重要信息未提醒”案例。

第一轮样本已经包含三类对话:“办理退款但未告知到账时间”“办理时已明确告知到账时间”,以及“只咨询退款流程、尚未确认办理”。后续使用中,又发现了两种表达方式不同的边界案例:

新案例

按本例口径确认的标注

需要说明的原因

客服先说明“预计 1 至 3 个工作日到账”,客户确认后,客服才提交同一笔退款申请

未命中

同一办理过程的前文已经明确提醒,不能只看最后确认办理的一轮

客服确认办理,并告知“预计本周五前到账”

未命中

已明确告知预计到账时间,不必只接受“几个工作日”的表达

以上结论建立在本例的业务要求上。实际标注时,还应确认前文提醒是否属于同一笔退款,以及后续办理条件是否发生变化。

可以按以下步骤开展下一轮改进:

  1. 收集新案例。保留完整对话,找到到账时间提醒和办理确认各自所在的轮次。

  2. 核对业务口径。确认提醒是否属于当前退款办理,以及所用表达是否足够明确。

  3. 确认人工标注。按确认后的业务结论标注,并写明为什么前文提醒或不同时间表达满足要求。

  4. 加入数据积累。将已确认样本保存到合适的数据集,同时保留原来三类代表性样本。

  5. 开展新一轮验证。使用更新后的数据创建任务,检查新增边界案例是否改善,以及原有场景是否出现新的误判。

  6. 决定后续动作。根据评测结果调整规则或发起优化,再审阅变化与应用结果。

不要只保留上一轮判断错误的样本。保留常见场景和关键边界,才能同时观察问题是否解决、原本正确的判断是否仍然稳定。

当样本范围或人工标注发生变化时,两轮准确率不再是完全相同条件下的直接比较。判断规则是否改善,应同时检查各轮使用的数据、具体规则变化和典型样本结果。

结果说明

复用的目标是保留可靠的对话和人工判断,让后续验证从已有积累出发。每次使用时仍需确认目标规则、业务口径和标注是否匹配。

同一通对话可用于多条规则,但它在每条规则下的预期结论需要独立确认。复用对话可以减少整理工作,不能替代对新规则的标注检查。

后续操作

•      检查更新后的规则效果:阅读调试规则与批量测评。

•      使用新增案例改进规则:阅读智能优化与应用结果。

•      遇到数据同步、重复导入或标注差异问题:查看常见问题。