大模型质检规则创建

更新时间:
复制为 MD 格式

功能概述

在智能对话分析中,有四种质检规则:普通质检规则、大模型质检规则、人工质检规则、会话质检规则。其中大模型质检规则是基于深度调优的通义晓蜜对话大模型,为营销服务类产品提供智能化升级所需的质检能力,只需要提供质检场景及该场景下检测维度和描述,即可轻松完成相应质检诉求。

功能入口

在登录智能对话分析系统控制台后,点击“质检规则配置>新建规则>大模型质检规则”,即可以进入到功能配置界面,新建规则的基本信息可参考2.基本信息填写

功能配置

新建规则

新建规则后,进入到新建规则配置界面。新建流程质检规则的配置内容包括两大类:1.基本信息、2.条件配置、3.评分配置。image

基本信息

基本信息包括:规则名称、规则种类、备注、重要程度、生效时间、规则类型、适用业务、人工复核。您可以根据实际的业务需求来进行基本信息的自定义配置。

image

说明

需要重点介绍的配置项:

  • 重要程度:可以理解是规则本身的一个标签,在复核时,会话命中的规则会以重度到轻度的形式来展示。

  • 规则类型:可以理解是规则本身的一个标签,您可以自定义添加更多的规则类型。

  • 适用业务:可以理解是规则本身的一个标签,同样也可以通过自定义的方式添加更多的类型。

  • 人工复核:选择需要后,此规则,可以由人工进行再次复核。如果选择不需要,则此规则命中后,复核状态将自动置为“已复核”,无须人工进行复核。未勾选适用于命中准确率高,无须人工复核的规则。

条件配置

条件配置是质检规则配置的主体部分,根据实际业务根据不同的需求进行配置。

  • 触发规则

    该质检条件触发的前提条件,若选择某条规则作为前提条件,则在实际质检过程中须触发前提条件才可以进行大模型检测条件。

  • 规则配置模式

    分为【简单模式、大小混合模式】,根据业务需求选择不同的模式。

    • 简单模式

      当选择简单模式时,相当于只使用大模型规则。需要填写检测角色、检测范围、模型配置、场景名称、背景知识等信息。image

    • 大小模型混合模式

      当选择大小模型混合模式时,可以在配置大模型规则的基础上继续新增小模型规则,比如可以新增关键词检查语速检查客户检测模式等。同时因为规则中可以新增多个检测条件,所以新增条件满足逻辑。image

  • 条件满足逻辑

    可以选择【以下条件全部满足、以下条件任一满足、以下条件任一不满足、自定义逻辑关系】。具体可参考质检检查条件逻辑配置说明

  • 检测角色

    根据选择的结果,检测对应角色的对话内容,可以选择客户、客服、所有角色。

  • 检测维度

    可选择【全文、指定范围】。当选择指定范围时需要填写时间维度句子维度、检测范围类型

    • 按句子维度和时间维度:相关内容可参考检查范围

    • 检测范围类型:

      • 句子开始时间和结束时间与检测范围有重叠(默认)

      • 句子开始时间(begin)在检测范围内就会命中。

      • 句子结束时间(end)在检测范围内就会命中。

      • 句子开始时间和结束时间完全在检测范围内。

  • 模型配置

    支持根据自己业务场景选择对应模型。

    • 通义晓蜜-Plus:质检效果全面优化,适合复杂场景。

    • 通义晓蜜-Turbo:高性价比模型,价格是Plus1/10。

    • 通义晓蜜-Agent:智能路由,根据质检任务的场景,智能判断进行选择通义晓蜜-Plus或者通义晓蜜-Turbo。

  • 场景名称

    服务质检的对话场景描述,比如:手机销售场景。不超过100字。

  • 背景知识

    可以选择填写提供服务质检场景相关的背景知识,可以提升模型识别效果。如:营销场景,如果客服给客户推荐了客户未买过的某个具体理财产品,则属于营销场景,如果客服没有提到具体理财产品,仅提及稳健类资产、权益类资产、等大类资产,则不属于营销场景,背景知识最多可以配置5条,知识点描述最大支持2000字。

  • 检测维度

    服务质检的检测维度列表,包含质检维度名称和定义,即需要大模型以什么样的标准判断该维度是否命中,质检维度最多可以配置5条。image

    • 检测维度名称:服务质检的检测维度名称,比如:到店迎接-欢迎语,不能超过60字。

    • 检测维度描述:服务质检的检测维度定义,即该维度是否命中的具体描述,以及命中条件排除条件。字数不超过6000字。

    • 自定义变量:在命中条件以及排除条件中可以插入自定义变量,即为随录参数,在通过API创建质检任务时,可以传入对应随录参数。具体配置流程可参考大模型质检规则中配置自定义变量image

  • 维度逻辑关系
    • 满足任一维度:任一检测维度命中时,质检规则结果为命中

    • 满足以上所有维度:所有检测维度都命中时,质检规则结果为命中

保存规则

在新建规则后台完成对基本信息条件配置后,点击“确定”即可保存此规则,若需要测试可以单击“保存并测试”对质检规则进行保存与测试。

image

功能管理

您可以随时在后台管理质检规则的配置,实现对规则的增、删、改、查,包括编辑、复制、测试和删除,同时支持对质检结果进行复核。

编辑规则

首先在质检规则配置界面下,单击“编辑”,进入到规则配置界面。

用户可以按照自己的需求修改目前质检规则的规则信息、条件等配置信息。image

image

复制规则

您也可以根据实际业务需求,单击“复制”,即可以复制并按照自己需要进行修改所需要的规则信息、条件等配置信息。

image

image

测试规则

首先在这里使用预置检测条件“汽车销售_不良服务表现检查”image

  • 用户可以在质检规则配置界面下,单击“测试”,进入到规则测试界面。

    • 在规则列表中的操作中点击测试image

    • 可以选择三种输入方式:

      1.文本输入:用户可以自定义填写模拟对话内容,并且可以自定义客服与用户角色。

      2.文本复制:从Excel中复制对话内容,需要包含角色、开始时间、语速、对话内容等信息。

      3.拉取线上会话:可以选取呼叫中心任务或数据集任务中的会话进行测试,请直接输入会话名称。

      image

    • 测试结果:包含是否命中,以及命中信息。

      image

  • 在编辑规则后,可以点击“保存并测试”进入规则测试界面。

    如果需要修改测试维度可以在编辑检测维度后选择保存并测试,也会弹出测试界面,同时检测维度变为修改后的维度,如:这里将新增检测维度“客服承认自己错误”,依旧可以命中。image

删除规则

在测试完成规则后,您也可以继续对规则进行删除不的需要的规则。

image