实践手册:多模态数据的内容质量检查方案

本文为您介绍如何在Dify on DMS中创建包含内容质量检查框架的应用。

背景信息

随着图片、语音等多模态数据在业务场景中的广泛应用,内容质量审核已成为保障业务稳定性和用户体验的重要挑战。传统的人工审核模式在面对海量数据时效率低下,难以满足实际需求。因此,数据管理DMS基于Dify on DMS平台,构建了一套自动化的内容质量检查框架。该框架利用多模态大模型技术,能够显著提升质量检测的效率和数据的准确性。

应用模板

DMS提供以下两个应用模板,以帮助您快速创建相应的内容质量检查应用。

语音客服质检

客服对话质检Agent模板,该检模板主要用于提升服务质量与合规性,其核心流程如下图所示:

说明

根据输入参数,执行的质检项包含:总结、分类、关键词分析、情感分析、冲突判断、推诿检测等。

image

数学错题集收录

数学错题集收录Agent模板,该模板主要用于实现教育数据的高效结构化,其核心流程如下图所示:

image

前提条件

操作步骤

步骤一:安装插件

  1. 登录数据管理DMS 5.0
  2. 进入工作空间页面。

    DMS提供了两种进入工作空间的路径,您可根据需求选择。

    路径一

    单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > Data+AI > Dify

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择Data+AI > Dify

    image

    路径二

    单击页面左侧的数智工厂image图标,再单击工作空间

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择数智工厂 > 工作空间

    image

  3. 单击目标空间名称。

  4. 在工作空间左侧导航栏选择image > 工作室

  5. 在页面右上角,单击插件

  6. 安装插件。

    • 安装DMS插件

      1. 选择安装插件 > DMS插件

      2. 在弹出的对话框中,勾选AliyunDMSDMS AI

      3. 单击安装

    • 安装通义千问

      1. 选择安装插件 > Marketplace

      2. 在弹出的对话框中,勾选通义千问

      3. 单击安装

  7. 等待插件安装成功。

    当插件列表显示出相应的插件时,表示安装成功。

步骤二:AliyunDMS插件授权

  1. 单击AliyunDMS插件,再单击去授权

  2. 请根据您需要使用的插件版本,选择是否配置DMS API Key

    说明
    • 如果您仅需要使用基础版的DMS SQL执行器,则无需填写DMS API Key,直接单击保存

    • 如果您需要使用企业版的插件(例如企业版SQL执行器、企业版NL2SQL算法),则需要填写DMS API KeyDMS API Key由当前登录DMS的阿里云账号的AccessKey IDAccessKey Secret组成,其填写格式为<AccessKey ID>:<AccessKey Secret>

  3. 单击保存

    当组件页面出现已授权,表示授权成功。

步骤三:为通义千问模型配置API Key

  1. 工作室页面,单击账号名称,选择设置

    image

  2. 模型供应商页面,单击通义千问模型右侧的设置,为其配置API Key

    请前往阿里云百炼获取API Key

  3. 单击保存

步骤四:创建应用

  1. 工作室 > 全部页面,单击从应用模板创建

    image

  2. 在左侧分类导航栏,单击DMS Data+AI

  3. 将鼠标指针悬停在客服对话质检Agent数学错题集收录Agent卡片,然后单击该卡片出现的使用该模板

  4. 在弹出的对话框,单击创建

    说明

    若弹出安装通义千问的提示框,单击image关闭即可。

步骤五:使用应用

  1. 准备的对话信息。

    客服对话质检Agent

    您需要自行准备客服对话的文本信息或单声道的音频文件。

    说明

    数学错题集收录Agent

    您需要自行准备包含数学错题的图片。

    说明
    • 图片支持的格式为JPG、JPEG、PNG、GIF、WEBP、SVG。

    • 图片支持本地文件和链接地址。

  2. 在应用页面的右上角,单击预览

  3. 配置参数。

    客服对话质检Agent

    image

    参数

    说明

    chech_options

    质检项,多个质检项以英文逗号(,)分隔。未配置时,默认设置为无限制。取值:

    • not_check_resolution:不检查问题解决请求。

    • not_check_negative_emotion:不检查客户负面情绪。

    • not_check_conflict:不检查是否存在冲突。

    • not_check_evasion:不检查客服是否存则消极推诿。

    dump_to_database

    是否将质检记录存入数据库。取值为truefalse,默认为false

    说明

    若取值为true,您还可以配置环境变量

    audio

    音频对话信息,支持从本地上传或使用音频的链接。

    重要

    仅支持单声道的音频。

    数学错题集收录Agent

    参数

    说明

    试卷照片

    支持从本地上传或使用图片的链接。

    dump_to_databse

    是否将解析结果存入数据库。取值为truefalse,默认为false

    说明

    若取值为true,您还可以配置环境变量

  4. 可选:配置环境变量。

    1. 在应用页面的右上角,单击image

    2. 配置环境变量参数。

      重要

      db_connection_url为必填参数。

      客服对话质检Agent

      参数

      类型

      说明

      role_description

      String

      定义大模型所扮演的角色的描述信息。

      output_format_requirements

      String

      约束大模型输出格式的描述信息。

      db_connection_url

      Secret

      数据库的连接串地址。

      说明

      格式要求,请参见应用页面的提示信息。

      数学错题集收录Agent

      参数

      类型

      说明

      grade

      String

      指定学生的年级。

      table_name

      String

      指定用户存放存提数据的表名。

      db_connection_url

      Secret

      数据库的连接串地址。

      说明

      格式要求,请参见应用页面的提示信息。

    3. 单击保存

  5. Bot聊天文本框中,输入对话信息。

    说明

    若您步骤1准备的是客服对话质检Agent应用的文本,则需要输入该文本信息;其他情况输入任意信息即可。

  6. Bot聊天文本框的右侧,单击image运行。