常见问题
本文按使用阶段说明常见疑问和处理方法。第一次使用,可以先阅读 快速上手;
生成规则
还没有规则,只有一句业务要求,能开始吗?
可以。从 规则自进化→ 规则生成 输入业务要求,点击 生成规则 即可开始。为了让初稿接近实际需要,建议同时说明检查谁、什么情况下适用、什么情况应命中、哪些情况应排除,并给出一两段典型对话。
例如,“检查是否提醒退款到账时间”还不够清楚,可以补充“仅在客服确认办理退款时检查;只咨询流程、没有确认办理的情况不命中”。完整示例见
生成内容不符合业务要求,应该怎么调整?
指出具体缺失或错误,并给出希望采用的判断标准。可以直接补充“用户只是咨询流程时不要命中”,或提供一条被误判的对话及正确结论。
在生成结果下方点击 优化你的规则,填写反馈后点击 优化。这适合根据描述完善初稿;要依据一批对话和人工标注改进效果,请使用自进化任务中的智能优化。
调整后重新核对规则内容,并用命中、未命中和边界样本验证。单纯要求“更准确一些”,通常不能解释你希望改变哪项判断。详见从业务需求生成规则。
生成完成后,规则就生效了吗?
生成完成表示已有可审阅的内容。确认后使用 创建为质检规则 保存;已关联规则的生成记录显示 更新规则。还应检查规则是否已启用,以及目标质检任务或方案是否使用该规则。
在已有生成记录上继续修改时,也要核对最终更新的规则对象。不要仅凭生成对话中的回复判断是否已经保存或生效。详见从业务需求生成规则。
数据准备与标注
已有 Excel 文件,可以直接上传吗?
先从准备导入的入口取得与目标规则匹配的模板,再核对文件格式和字段。新建数据集时使用 文件模板;在任务的 批量评测 中,使用 导入数据集 → 下载模板。请按下载文件中的“说明”填写。单维规则与多维规则的标注列不同;不同规则、版本的模板也可能不兼容。
按模板整理后导入,并检查导入数量、对话内容及标注。完整说明见 准备与管理自进化数据集。
为什么导入失败,或者导入数量和预计不同?
查看导入结果中的说明,优先核对目标规则、模板、对话格式、标注值和涉及轮次。涉及轮次必须能够在对应对话中找到;不要仅为了通过检查而随意填写。
重新导入前,先确认上次是否已经成功写入数据。文件导入会新增样本,重复上传同一批内容可能产生重复条目。处理方法见准备与管理自进化数据集。
从线上构建数据集时,为什么预估数量比最终数量多?
预估用于帮助判断筛选范围。实际构建时还需要读取完整对话、核对复核结果及可用数据,并处理重复记录,所以最终可用数量可能更少。
先查看构建状态和结果说明,再核对来源任务、筛选范围及人工复核情况。不能只用预估数量判断是否丢失数据。详见准备与管理自进化数据集。
样本已经在数据集里,为什么仍然提示缺少标注?
样本入集只说明有这段对话,不代表它对每条规则都有已确认的结论。检查当前目标规则,以及这条规则各维度所需的标注是否齐全。
尤其在复用多规则数据时,同一段对话针对不同规则需要各自的判断。详见 准备与管理自进化数据集。
留空是不是就算“未命中”?
不是。留空表示尚未确认,“未命中”表示已经判断该样本不符合规则的命中条件。只有写了原因、没有选择结论的样本,也不能自动视为已完成结论标注。
请依据业务口径补齐需要使用的标注。详见 准备与管理自进化数据集。
AI 预标后,还需要人工检查吗?
需要。预标是帮助你提高标注效率的建议,检查无误后再确认;有误时应修正结论、原因或涉及轮次。
如果把同一个模型的判断直接当作正确答案,后续评测就无法有效发现它原本的误判。详见 准备与管理自进化数据集。
标注理由不知道写什么,能只写“判错了”吗?
建议补充“业务上什么情况下必须做什么、本例发生了什么、为什么应有这个结论”。现有规则没写清的适用条件和例外,也应写出来。例如,寄修是否需要提醒库存、人工费提醒何时才适用,都比“模型错了”更能说明业务标准。理由写一两句话即可,无需固定格式;涉及轮次仍需在对应字段单独关联。完整案例与可套用的格式见标注理由填写示范。
调试与评测
人工标注和模型判断不同,应当修改哪一个?
先回到业务标准,检查完整对话。如果人工标注有误,修正标注;如果标注正确而规则遗漏了条件,修正规则或将该样本用于优化;如果不同标注人员对标准理解不一致,先明确共同口径。
不要为提高准确率而把正确的人工结论改成模型当前答案。可按 调试规则与批量评测中的方法分类处理问题。
单条调试和批量评测的结果不一致,怎么办?
先核对是否使用同一份规则内容、同一段完整对话和同一目标规则。规则版本变化、对话内容缺失或角色不同,都可能导致结果不同;模型运行本身也可能出现波动。
保留发生差异的样本,在条件一致的情况下复测,并查看判断原因。不要把不同版本或不同样本范围的结果直接比较。详见
准确率是否表示线上也能达到同样的效果?
不能直接这样理解。准确率反映本次有效比较样本中,模型结论与人工结论一致的比例。未完成标注、没有可用判断结果的样本,不能简单当作判断正确。
还要关注样本量、覆盖范围和错误类型。少量重复样本上的高准确率,不能代替有代表性的业务验证。详见调试规则与批量评测。
修改标注后,需要重新评测吗?
标注修改后,应基于当前标注重新查看或计算比较结果;如果同时修改了规则或对话,则需要重新运行相应评测。不要沿用旧报告判断新内容的效果。
重新开始前,确认规则和样本范围,在 批量评测 中使用 批量生成回答,并检查本轮完成情况。详见调试规则与批量评测。
智能优化
为什么无法开始优化?
按照 智能优化页面的准备检查补齐内容。常见原因包括没有可用规则正文、没有评测样本,或样本缺少针对当前规则的有效标注。
样本总数多,并不一定代表标注已经可用。建议先检查目标规则对应的结论,再处理页面指出的其他问题。详见智能优化与应用结果。
需要准备多少条样本?
启动条件以页面检查为准。准备时应覆盖应命中、未命中、容易混淆的边界和常见表达,不要只复制少量样本凑数量。
可以先用少量代表性对话调试,确认规则和标注口径,再补充适合批量评测与优化的样本。详见 准备与管理自进化数据集。
优化运行失败,可以重试吗?
可以先查看失败原因。数据或规则准备问题应修正后再试;如果是服务请求异常等偶发失败,可以在任务明确结束后重新发起。已经正常运行的任务,应等待结果,避免重复提交。
若相同内容连续失败,保留任务标识、发生时间和完整错误提示,联系支持人员排查。重试不保证自动从上次中断位置继续。详见智能优化与应用结果。
一批任务里有几个失败,需要全部重跑吗?
不需要。按规则分别查看状态和结果,保留成功任务的结果,处理失败任务对应的问题后再决定是否重试。
仍在运行的任务与已失败的任务应分别处理。详见 智能优化与应用结果。
优化完成了,为什么没有明显提升?
优化完成表示本次过程已有结果,并不保证准确率一定提高。可能是现有规则已适合这批数据,也可能是样本不足、业务口径不一致,或规则无法从当前样本中得到足够的改进信息。
先看报告中具体改动和错误样本,检查是否解决了你关心的问题。需要继续改进时,优先补充有代表性的新案例,统一标注,再进行下一轮。详见智能优化与应用结果。
结果应用
“设为工作副本”和“采纳”有什么区别?
设为工作副本改变当前任务后续调试、评测和优化使用的规则内容,不更新正式规则。工作台下方优化候选条的 采纳 会把选定结果更新到绑定的正式规则,并产生新版本。
优化成功后,新版本可能已经自动成为任务当前版本,但仍需要执行候选 采纳 才会更新正式规则。在采纳前核对目标规则,成功后到规则管理中检查结果。各种操作的影响见智能优化与应用结果。
采纳后可以撤销吗?
已采纳候选提供 撤销采纳。撤销有适用条件:如果采纳后规则又被修改,系统会拒绝直接撤销,避免覆盖后续调整。应先核对当前规则内容,再处理需要恢复的部分。
撤销也会更新正式规则,请先确认目标及影响范围。具体说明见 智能优化与应用结果。
应用优化结果后,在哪里确认业务已使用新规则?
先在规则管理中检查目标规则的内容和版本,再确认启用状态,以及目标质检任务或方案的关联配置。必要时用新的业务样本验证。
优化报告展示的效果不会替代业务使用配置检查,也不能说明历史质检记录已经重新计算。详见 智能优化与应用结果。
数据复用
修改数据集后,已经创建的任务会自动更新吗?
不会。任务使用创建时取得的数据和标注。需要使用更新后的数据时,可以基于更新后的数据集创建新任务。
任务内更正的标注也需要明确沉淀,才能用于后续复用。详见 复用数据与持续改进。
同一批对话可以用于不同规则吗?
可以作为样本材料复用,但要分别检查对目标规则是否适用,并准备对应的正确标注。对“到账时间未提醒”的标注,不能直接当作“服务态度”的标注使用。
通过文件复用时还要核对模板与目标规则是否兼容。详见 复用数据与持续改进。
任务里的标注已经修正,为什么沉淀时提示冲突?
原数据集的对话或标注可能在任务创建后又被修改。此时应查看冲突条目,核对哪份内容是当前确认的结果,再处理需要保留的数据,避免覆盖别人后来完成的修正。
不要反复提交相同操作来尝试覆盖。详见 复用数据与持续改进。
如何保存这次已经确认的样本和标注?
在任务的 批量评测中点击 沉淀到自进化数据集,核对本任务中已经确认的人工标注,选择目标数据集后提交沉淀,并检查完成结果。需要文件留存或再次导入时,在数据集详情选择目标规则页签,再使用导出数据。
这些操作不会自动回写线上质检的人工复核记录。详见 复用数据与持续改进。