质检规则优化

本文档介绍了质检优化功能以及如何使用质检优化能力。

功能概览

可以通过需要质检的数据源对已配置的质检规则进行优化,选择待优化的质检规则以及需要标注的数据,通过系统性的人工复核与结果标注,为规则优化提供精准的数据样本。让每一条规则都能在真实数据中持续进化,越用越准。

功能入口

在登录智能对话分析系统控制台后,点击“质检规则优化”,即可进入质检优化任务列表。image

功能说明

1.创建标注优化任务

点击左上角新建优化任务按钮,即可进行配置以及质检任务数据源的选择,配置完成后,点击确认按钮即可生成优化任务。image

  • 基础配置:自定义填写任务名称,同时需要选择待优化质检规则。

  • 标注数据

    • 数据来源:支持选择线上日志、文本导入模式。会话数据最大支持300条,若使用文本导入的方式不支持文本文件,只能上传语音文件。

    • 数据类型:当选择线上日志时,需要选择数据类型是语音还是文本;

    • 质检任务:选择线上质检任务数据源。

    • 时间范围:可选择今天/昨天/前天/近7天/近15天的数据。

    • 是否复核:开启后在系统标注完成后再进行人工复核。

2.标注优化任务执行

任务状态为排队中、执行中、标注中、已完成。

image

  • 排队中:排队中表示任务等待执行,当前只能进行删除操作。

  • 执行中:表示当前任务正在进行,只能执行删除操作。

  • 标注中:表示当前任务已经执行完成。可以选择标注按钮进入任务详情,当任务全部标注完成或者手动选择结束按钮时任务状态会变为已完成

  • 已完成:标注任务已经标注完成,可点击优化规则&验证按钮进行规则优化。

3.结果标注

在标注执行完成后,点击标注按钮即可进入任务详情,进行人工标注。左上角可以进行筛选,左侧会话详情展示具体对话文本信息,右上角表示规则命中情况,序号为绿色表示命中了该规则,若为灰色则表示未命中规则。右侧标注展示标注相关信息。

image

  • 人工复核质检规则判断是否正确。

  • 关联对话轮次:表示涉及到质检规则的对话轮次,可自定义选择对话轮次。

  • 复核理由:说明模型识别错误的具体原因。

4.优化规则

标注完成后,可以在任务详情内的右上角点击优化规则或者在任务列表中点击优化规则&验证按钮进行规则优化。image

5.优化结果

点击优化规则后会根据标注的内容对规则优化,生成优化后规则内容。若需要使用则点击下一步即可验证规则的准确率。

imageimage

6.采纳规则并查看验证任务结果

点击采纳后可重新进入当前标注任务,可以看到优化后的规则命中情况。image