大模型质检规则创建

使用前提

若点击新建规则后,规则种类只有普通质检、会话组质检、纯人工质检,没有看到大模型质检。

说明该账号未加白,需要提供UID以及企业信息提交工单联系我们,进行加白操作。

image

功能概述

在智能对话分析中,有四种质检规则:普通质检规则、大模型质检规则、人工质检规则、会话质检规则。其中大模型质检规则是基于深度调优的通义晓蜜对话大模型,为营销服务类产品提供智能化升级所需的质检能力,只需要提供质检场景及该场景下检测维度和描述,即可轻松完成相应质检诉求。

功能入口

在登录智能对话分析系统控制台后,点击“质检规则配置>新建规则>大模型质检规则”,即可以进入到功能配置界面,新建规则的基本信息可参考2.基本信息填写

功能配置

新建规则

新建规则后,进入到新建规则配置界面。新建流程质检规则的配置内容包括两大类:1.基本信息、2.条件配置、3.评分配置。image

基本信息

基本信息包括:规则名称、规则种类、备注、重要程度、生效时间、规则类型、适用业务、人工复核。您可以根据实际的业务需求来进行基本信息的自定义配置。

image

说明

需要重点介绍的配置项:

  • 重要程度:可以理解是规则本身的一个标签,在复核时,会话命中的规则会以重度到轻度的形式来展示。

  • 规则类型:可以理解是规则本身的一个标签,您可以自定义添加更多的规则类型。

  • 适用业务:可以理解是规则本身的一个标签,同样也可以通过自定义的方式添加更多的类型。

  • 人工复核:选择需要后,此规则,可以由人工进行再次复核。如果选择不需要,则此规则命中后,复核状态将自动置为“已复核”,无须人工进行复核。未勾选适用于命中准确率高,无须人工复核的规则。

条件配置

条件配置是质检规则配置的主体部分,主要是配置条件和条件之间的逻辑关系式。其主要包括两大配置内容:1.检测内容 2.检测条件。

image

  • 检测内容

    创建好了质检检查条件之后,可以设置不同的逻辑条件关系组合,以满足业务中需要的质检场景需求。具体可参考质检检查条件逻辑配置说明

    image

  • 检测条件

    检测条件分为自定义检测条件、预置检测条件。

    注意:预置检测条件是系统内置的,也属于自定义检测条件,支持选择后可以自定义修改。image

    • 自定义检测条件image

      • 场景名称:服务质检的对话场景描述,比如:手机销售场景。不超过100字。

      • 背景知识:可以选择填写提供服务质检场景相关的背景知识,可以提升模型识别效果。如:营销场景,如果客服给客户推荐了客户未买过的某个具体理财产品,则属于营销场景,如果客服没有提到具体理财产品,仅提及稳健类资产、权益类资产、等大类资产,则不属于营销场景。

      • 检测维度:服务质检的检测维度列表,包含质检维度名称和定义,即需要大模型以什么样的标准判断该维度是否命中。image

        • 维度名称:服务质检的检测维度名称,比如:到店迎接-欢迎语,不能超过60字。

        • 维度描述:服务质检的检测维度定义,即该维度是否命中的具体描述,比如:销售在开场白的时候主动向客户打招呼进行欢迎,不超过400字。

        • 命中条件:输入给模型,用于判断什么情况下,该规则应该命中。如:客服在对话过程中出现辱骂客户话术,则最终结果判为命中质检项,不超过800字。

        • 排除条件:输入给模型,用于判断什么情况下,该规则不应该命中。如:客服说我没说你、这就是我们正常流程、你不要曲解我等话术,则最终结果判为未命中质检项,不超过800字。

保存规则

在新建规则后台完成对基本信息条件配置后,点击“确定”即可保存此规则,若需要测试可以单击“保存并测试”对质检规则进行保存与测试。

image

功能管理

您可以随时在后台管理质检规则的配置,实现对规则的增、删、改、查,包括编辑、复制、测试和删除,同时支持对质检结果进行复核。

编辑规则

首先在质检规则配置界面下,单击“编辑”,进入到规则配置界面。

用户可以按照自己的需求修改目前质检规则的规则信息、条件等配置信息。image

image

复制规则

您也可以根据实际业务需求,单击“复制”,即可以复制并按照自己需要进行修改所需要的规则信息、条件等配置信息。

image

image

测试规则

首先在这里使用预置检测条件“汽车销售_不良服务表现检查”image

  • 用户可以在质检规则配置界面下,单击“测试”,进入到规则测试界面。

    • 在规则列表中的操作中点击测试image

    • 可以选择三种输入方式:

      1.文本输入:用户可以自定义填写模拟对话内容,并且可以自定义客服与用户角色。

      2.文本复制:从Excel中复制对话内容,需要包含角色、开始时间、语速、对话内容等信息。

      3.拉取线上会话:可以选取呼叫中心任务或数据集任务中的会话进行测试,请直接输入会话名称。

      image

    • 测试结果:包含是否命中,以及命中信息。

      image

  • 在编辑规则后,可以点击“保存并测试”进入到规则测试界面。

    如果需要修改测试维度可以在编辑检测维度后选择保存并测试,也会弹出测试界面,同时检测维度变为修改后的维度,如:这里将新增检测维度“客服承认自己错误”,依旧可以命中。image

删除规则

在测试完成规则后,您也可以继续对规则进行删除不需要的规则。

image