大模型质检规则创建

功能概述

在智能对话分析中,有五种质检规则:普通质检规则、大模型质检规则、流程质检规则、人工质检规则、会话质检规则。其中大模型质检规则是基于深度调优的通义晓蜜对话大模型,为营销服务类产品提供智能化升级所需的质检能力,只需要提供质检场景及该场景下检测维度和描述,即可轻松完成相应质检诉求。

功能入口

在登录智能对话分析系统控制台后,点击“质检规则配置>新建规则>大模型质检规则”,即可以进入到功能配置界面,新建规则的基本信息可参考2.基本信息填写

功能配置

新建规则

新建规则后,进入到新建规则配置界面。新建流程质检规则的配置内容包括两大类:1.基本信息、2.条件配置、3.评分配置。image

基本信息

新建大模型质检规则的基本信息包括:规则名称、规则种类、备注、重要程度、生效时间、规则类型、适用业务、人工复核。您可以根据实际的业务需求来进行基本信息的自定义配置。

image

说明

需要重点介绍的配置项:

  • 重要程度:可以理解是规则本身的一个标签,在复核时,会话命中的规则会以重度到轻度的形式来展示。

  • 规则类型:可以理解是规则本身的一个标签,您可以自定义添加更多的规则类型。

  • 适用业务:可以理解是规则本身的一个标签,同样也可以通过自定义的方式添加更多的类型。

  • 人工复核:选择需要后,则此规则,可以由人工进行再次复核。如果选择不需要,则此规则命中后,复核状态将自动置为“已复核”,无须人工进行复核,不勾选适用于命中准确率高,无须人工复核的规则。

条件配置

条件配置是质检规则配置的主体部分,主要是配置条件和条件之间的逻辑关系式。其主要包括两大配置内容:1.检测内容 2.检测条件。

image

  • 检测内容

    创建好了质检检查条件之后,可以设置不同的逻辑条件关系组合,以满足业务中需要的质检场景需求。具体可参考质检检查条件逻辑配置说明

    image

  • 检测条件

    检测条件包括五大检查类型,如文字检查、语音检查、模型检查、其他检查、大模型检查。此外,每个类型的功能后面还有许多丰富的检测能力,我们称为“算子”。image

    • 文字检查

      • 文字检查是用于检测文字内容,包括关键词检查、文本相似度检查、正则表达式检查、上下文重复检查。例如检测客服是否在服务中使用了哪些违禁词、重复词等。您可以根据具体情况合理配置算子类型。

    • 语音检查

      • 语音检查是用于检测语音内容,通常是用于检测音量、语速、强化、静音等语音类型的内容。例如检测客服是否在服务中长时间静音、音量过大等。

    • 模型检查

      • 模型检查则是将一些通用的能力,利用算法进行产品化内置,从而达到开箱即可以使用的状态,减少您的配置成本。例如客户辱骂、客服引导投诉等。

    • 其他检查

      • 其他检查则是利用随录参数检查,支持跟随录音同时传入的录音自身所带随录参数的质检。

    • 大模型检查

      • 通过通义晓蜜对话大模型,根据用户对检查维度的配置,包含质检维度名称和定义,即需要大模型以什么样的标准判断该维度是否命中。

      • image场景名称:服务质检的对话场景描述,比如:手机销售场景。

        场景描述:服务质检的检测目标和侧重点描述,比如:请检测对话中手机销售人员表现是否接待热情、态度良好。

        检测维度:服务质检的检测维度列表。

      • 注:

        • 至少填写1项检测维度、最多填写30项检测维度

        • 检测维度名称最长60字符,不可重复。

        • 维度描述最多400字符。

保存规则

在新建规则后台完成对基本信息条件配置后,即可保存此规则,单击“保存并测试”。

image

功能管理

您可以随时在后台管理质检规则的配置,实现对规则的增、删、改、查,包括编辑、复制、测试和删除,同时支持对质检结果进行复核。

编辑规则

首先在质检规则配置界面下,单击“编辑”,进入到规则配置界面。

用户可以按照自己的需求修改目前质检规则的规则信息、条件等配置信息。image

image

复制规则

您也可以根据实际业务需求质检单击“复制”,即可以复制并且可以按照自己需要进行修改所需要的规则信息、条件等配置信息。

image

image

测试规则

首先在这里配置的检测维度为:“测试:这是一个测试、感谢:感谢您的接听”两条维度image

  • 用户可以在质检规则配置界面下,单击“测试”,进入到规则测试界面。

    • 在规则列表中的操作中点击测试image

    • 可以选择三种输入方式:

      1.文本输入:用户可以自定义填写模拟对话内容,并且可以自定义客服与用户角色。

      2.文本复制:从Excel中复制对话内容,需要包含角色、开始时间、语速、对话内容等信息。

      3.拉取线上会话:可以选取呼叫中心任务或数据集任务中的会话进行测试,请直接输入会话名称。

      image

    • 测试结果:包含是否命中,以及命中信息。

      image

  • 在编辑规则后,可以点击“保存并测试”进入到规则测试界面。

    如果需要修改测试维度可以在编辑检测维度后选择保存并测试,也会弹出测试界面,同时检测维度变为修改后的维度,如:这里将新增检测维度“测试:这是一个修改后的测试”,依旧可以命中。image

删除规则

在测试完成规则后,您也可以继续对规则进行删除不需要的规则。

image