常见问题

更新时间:
复制 MD 格式

常见问题

本文按使用阶段说明常见疑问和处理方法。第一次使用,可以先阅读 快速上手;

生成规则

还没有规则,只有一句业务要求,能开始吗?

可以。从 规则自进化→ 规则生成 输入业务要求,点击 生成规则 即可开始。为了让初稿接近实际需要,建议同时说明检查谁、什么情况下适用、什么情况应命中、哪些情况应排除,并给出一两段典型对话。

例如,“检查是否提醒退款到账时间”还不够清楚,可以补充“仅在客服确认办理退款时检查;只咨询流程、没有确认办理的情况不命中”。完整示例见

从业务需求生成规则。

生成内容不符合业务要求,应该怎么调整?

指出具体缺失或错误,并给出希望采用的判断标准。可以直接补充“用户只是咨询流程时不要命中”,或提供一条被误判的对话及正确结论。

在生成结果下方点击 优化你的规则,填写反馈后点击 优化。这适合根据描述完善初稿;要依据一批对话和人工标注改进效果,请使用自进化任务中的智能优化。

调整后重新核对规则内容,并用命中、未命中和边界样本验证。单纯要求“更准确一些”,通常不能解释你希望改变哪项判断。详见从业务需求生成规则。

生成完成后,规则就生效了吗?

生成完成表示已有可审阅的内容。确认后使用 创建为质检规则 保存;已关联规则的生成记录显示 更新规则。还应检查规则是否已启用,以及目标质检任务或方案是否使用该规则。

在已有生成记录上继续修改时,也要核对最终更新的规则对象。不要仅凭生成对话中的回复判断是否已经保存或生效。详见从业务需求生成规则。

数据准备与标注

已有 Excel 文件,可以直接上传吗?

先从准备导入的入口取得与目标规则匹配的模板,再核对文件格式和字段。新建数据集时使用 文件模板;在任务的 批量评测 中,使用 导入数据集 → 下载模板。请按下载文件中的“说明”填写。单维规则与多维规则的标注列不同;不同规则、版本的模板也可能不兼容。

按模板整理后导入,并检查导入数量、对话内容及标注。完整说明见 准备与管理自进化数据集。

为什么导入失败,或者导入数量和预计不同?

查看导入结果中的说明,优先核对目标规则、模板、对话格式、标注值和涉及轮次。涉及轮次必须能够在对应对话中找到;不要仅为了通过检查而随意填写。

重新导入前,先确认上次是否已经成功写入数据。文件导入会新增样本,重复上传同一批内容可能产生重复条目。处理方法见准备与管理自进化数据集。

从线上构建数据集时,为什么预估数量比最终数量多?

预估用于帮助判断筛选范围。实际构建时还需要读取完整对话、核对复核结果及可用数据,并处理重复记录,所以最终可用数量可能更少。

先查看构建状态和结果说明,再核对来源任务、筛选范围及人工复核情况。不能只用预估数量判断是否丢失数据。详见准备与管理自进化数据集。

样本已经在数据集里,为什么仍然提示缺少标注?

样本入集只说明有这段对话,不代表它对每条规则都有已确认的结论。检查当前目标规则,以及这条规则各维度所需的标注是否齐全。

尤其在复用多规则数据时,同一段对话针对不同规则需要各自的判断。详见 准备与管理自进化数据集。

留空是不是就算“未命中”?

不是。留空表示尚未确认,“未命中”表示已经判断该样本不符合规则的命中条件。只有写了原因、没有选择结论的样本,也不能自动视为已完成结论标注。

请依据业务口径补齐需要使用的标注。详见 准备与管理自进化数据集。

AI 预标后,还需要人工检查吗?

需要。预标是帮助你提高标注效率的建议,检查无误后再确认;有误时应修正结论、原因或涉及轮次。

如果把同一个模型的判断直接当作正确答案,后续评测就无法有效发现它原本的误判。详见 准备与管理自进化数据集。

标注理由不知道写什么,能只写“判错了”吗?

建议补充“业务上什么情况下必须做什么、本例发生了什么、为什么应有这个结论”。现有规则没写清的适用条件和例外,也应写出来。例如,寄修是否需要提醒库存、人工费提醒何时才适用,都比“模型错了”更能说明业务标准。理由写一两句话即可,无需固定格式;涉及轮次仍需在对应字段单独关联。完整案例与可套用的格式见标注理由填写示范。

调试与评测

人工标注和模型判断不同,应当修改哪一个?

先回到业务标准,检查完整对话。如果人工标注有误,修正标注;如果标注正确而规则遗漏了条件,修正规则或将该样本用于优化;如果不同标注人员对标准理解不一致,先明确共同口径。

不要为提高准确率而把正确的人工结论改成模型当前答案。可按 调试规则与批量评测中的方法分类处理问题。

单条调试和批量评测的结果不一致,怎么办?

先核对是否使用同一份规则内容、同一段完整对话和同一目标规则。规则版本变化、对话内容缺失或角色不同,都可能导致结果不同;模型运行本身也可能出现波动。

保留发生差异的样本,在条件一致的情况下复测,并查看判断原因。不要把不同版本或不同样本范围的结果直接比较。详见

调试规则与批量评测。

准确率是否表示线上也能达到同样的效果?

不能直接这样理解。准确率反映本次有效比较样本中,模型结论与人工结论一致的比例。未完成标注、没有可用判断结果的样本,不能简单当作判断正确。

还要关注样本量、覆盖范围和错误类型。少量重复样本上的高准确率,不能代替有代表性的业务验证。详见调试规则与批量评测。

修改标注后,需要重新评测吗?

标注修改后,应基于当前标注重新查看或计算比较结果;如果同时修改了规则或对话,则需要重新运行相应评测。不要沿用旧报告判断新内容的效果。

重新开始前,确认规则和样本范围,在 批量评测 中使用 批量生成回答,并检查本轮完成情况。详见调试规则与批量评测。

智能优化

为什么无法开始优化?

按照 智能优化页面的准备检查补齐内容。常见原因包括没有可用规则正文、没有评测样本,或样本缺少针对当前规则的有效标注。

样本总数多,并不一定代表标注已经可用。建议先检查目标规则对应的结论,再处理页面指出的其他问题。详见智能优化与应用结果。

需要准备多少条样本?

启动条件以页面检查为准。准备时应覆盖应命中、未命中、容易混淆的边界和常见表达,不要只复制少量样本凑数量。

可以先用少量代表性对话调试,确认规则和标注口径,再补充适合批量评测与优化的样本。详见 准备与管理自进化数据集。

优化运行失败,可以重试吗?

可以先查看失败原因。数据或规则准备问题应修正后再试;如果是服务请求异常等偶发失败,可以在任务明确结束后重新发起。已经正常运行的任务,应等待结果,避免重复提交。

若相同内容连续失败,保留任务标识、发生时间和完整错误提示,联系支持人员排查。重试不保证自动从上次中断位置继续。详见智能优化与应用结果。

一批任务里有几个失败,需要全部重跑吗?

不需要。按规则分别查看状态和结果,保留成功任务的结果,处理失败任务对应的问题后再决定是否重试。

仍在运行的任务与已失败的任务应分别处理。详见 智能优化与应用结果。

优化完成了,为什么没有明显提升?

优化完成表示本次过程已有结果,并不保证准确率一定提高。可能是现有规则已适合这批数据,也可能是样本不足、业务口径不一致,或规则无法从当前样本中得到足够的改进信息。

先看报告中具体改动和错误样本,检查是否解决了你关心的问题。需要继续改进时,优先补充有代表性的新案例,统一标注,再进行下一轮。详见智能优化与应用结果。

结果应用

“设为工作副本”和“采纳”有什么区别?

设为工作副本改变当前任务后续调试、评测和优化使用的规则内容,不更新正式规则。工作台下方优化候选条的 采纳 会把选定结果更新到绑定的正式规则,并产生新版本。

优化成功后,新版本可能已经自动成为任务当前版本,但仍需要执行候选 采纳 才会更新正式规则。在采纳前核对目标规则,成功后到规则管理中检查结果。各种操作的影响见智能优化与应用结果。

采纳后可以撤销吗?

已采纳候选提供 撤销采纳。撤销有适用条件:如果采纳后规则又被修改,系统会拒绝直接撤销,避免覆盖后续调整。应先核对当前规则内容,再处理需要恢复的部分。

撤销也会更新正式规则,请先确认目标及影响范围。具体说明见 智能优化与应用结果。

应用优化结果后,在哪里确认业务已使用新规则?

先在规则管理中检查目标规则的内容和版本,再确认启用状态,以及目标质检任务或方案的关联配置。必要时用新的业务样本验证。

优化报告展示的效果不会替代业务使用配置检查,也不能说明历史质检记录已经重新计算。详见 智能优化与应用结果。

数据复用

修改数据集后,已经创建的任务会自动更新吗?

不会。任务使用创建时取得的数据和标注。需要使用更新后的数据时,可以基于更新后的数据集创建新任务。

任务内更正的标注也需要明确沉淀,才能用于后续复用。详见 复用数据与持续改进。

同一批对话可以用于不同规则吗?

可以作为样本材料复用,但要分别检查对目标规则是否适用,并准备对应的正确标注。对“到账时间未提醒”的标注,不能直接当作“服务态度”的标注使用。

通过文件复用时还要核对模板与目标规则是否兼容。详见 复用数据与持续改进。

任务里的标注已经修正,为什么沉淀时提示冲突?

原数据集的对话或标注可能在任务创建后又被修改。此时应查看冲突条目,核对哪份内容是当前确认的结果,再处理需要保留的数据,避免覆盖别人后来完成的修正。

不要反复提交相同操作来尝试覆盖。详见 复用数据与持续改进。

如何保存这次已经确认的样本和标注?

在任务的 批量评测中点击 沉淀到自进化数据集,核对本任务中已经确认的人工标注,选择目标数据集后提交沉淀,并检查完成结果。需要文件留存或再次导入时,在数据集详情选择目标规则页签,再使用导出数据。

这些操作不会自动回写线上质检的人工复核记录。详见 复用数据与持续改进。