创建多模态数据内容质量检查的应用-AI 原生数据库服务(AIDBS)-阿里云帮助中心

本文为您介绍如何在Dify中创建包含内容质量检查框架的应用。

DOC_SOURCES: DMS mapId=61777, nodeId=5904162 (实践手册多模态数据的内容质量检查方案_5904162.xdita)

背景信息

随着图片、语音等多模态数据在业务场景中的广泛应用，内容质量审核已成为保障业务稳定性和用户体验的重要挑战。传统的人工审核模式在面对海量数据时效率低下，难以满足实际需求。因此，阿里云基于Dify平台，构建了一套自动化的内容质量检查框架。该框架利用多模态大模型技术，能够显著提升质量检测的效率和数据的准确性。

应用模板

AI原生数据库服务提供以下两个应用模板，以帮助您快速创建相应的内容质量检查应用。

语音客服质检

即客服对话质检Agent模板，该检模板主要用于提升服务质量与合规性，其核心流程如下图所示：

说明

根据输入参数，执行的质检项包含：总结、分类、关键词分析、情感分析、冲突判断、推诿检测等。

数学错题集收录

即数学错题集收录Agent模板，该模板主要用于实现教育数据的高效结构化，其核心流程如下图所示：

前提条件

已成功部署Dify。
Dify on DMS已升级至V1.4.3或以上版本。更多信息，请参见查看Dify版本。

操作步骤

步骤一：安装插件

登录DMS控制台。
在顶部菜单栏，选择Dify实例所在的地域。
在左侧导航栏，选择Dify。
单击目标Dify实例。
在页面右上角，单击插件。
安装插件。
- 安装DMS插件
  1. 选择安装插件 > DMS插件。
  2. 在弹出的对话框中，勾选AliyunDMS和DMS AI。
  3. 单击安装。
- 安装千问
  1. 选择安装插件 > Marketplace。
  2. 在弹出的对话框中，勾选通义千问。
  3. 单击安装。
等待插件安装成功。

当插件列表显示出相应的插件时，表示安装成功。

步骤二：给AliyunDMS插件授权

在页面右上角，单击插件。
在AliyunDMS卡片中，单击去授权。
按照提示完成授权。

步骤三：为千问模型配置API Key

在页面右上角，单击插件。
在通义千问卡片中，单击去设置。
填入API Key，单击保存。

步骤四：创建应用

单击页面上方的工作室，返回工作室主页面。
单击从应用模板创建。
将鼠标指针悬停在客服对话质检Agent或数学错题集收录Agent卡片，然后单击该卡片出现的使用该模板。
单击创建，等待应用创建成功。

说明
若弹出安装千问的提示框，单击关闭即可。

步骤五：使用应用

准备的对话信息。
客服对话质检Agent

您需要自行准备客服对话的文本信息或单声道的音频文件。
说明

音频文件支持的格式，请参见语音识别（Paraformer）。

音频文件支持本地文件和链接地址。
数学错题集收录Agent

您需要自行准备包含数学错题的图片。
说明

图片支持的格式为JPG、JPEG、PNG、GIF、WEBP、SVG。

图片支持本地文件和链接地址。
在应用页面的右上角，单击预览。

配置参数。

客服对话质检Agent

参数	说明
chech_options	质检项，多个质检项以英文逗号（,）分隔。未配置时，默认设置为无限制。取值： not_check_resolution：不检查问题解决请求。 not_check_negative_emotion：不检查客户负面情绪。 not_check_conflict：不检查是否存在冲突。 not_check_evasion：不检查客服是否存则消极推诿。
dump_to_database	是否将质检记录存入数据库。取值为true或false，默认为false。说明若取值为true，您还可以配置环境变量。
audio	音频对话信息，支持从本地上传或使用音频的链接。重要仅支持单声道的音频。

数学错题集收录Agent

参数	说明
试卷照片	支持从本地上传或使用图片的链接。
dump_to_databse	是否将解析结果存入数据库。取值为true或false，默认为false。说明若取值为true，您还可以配置环境变量。

可选：配置环境变量。

在应用页面的右上角，单击。

配置环境变量参数。

重要

db_connection_url为必填参数。

客服对话质检Agent

参数	类型	说明
role_description	String	定义大模型所扮演的角色的描述信息。
output_format_requirements	String	约束大模型输出格式的描述信息。
db_connection_url	Secret	数据库的连接串地址。说明格式要求，请参见应用页面的提示信息。

数学错题集收录Agent

参数	类型	说明
grade	String	指定学生的年级。
table_name	String	指定用户存放存提数据的表名。
db_connection_url	Secret	数据库的连接串地址。说明格式要求，请参见应用页面的提示信息。

单击保存。

在和Bot聊天文本框中，输入对话信息。

说明
若您步骤1准备的是客服对话质检Agent应用的文本，则需要输入该文本信息；其他情况输入任意信息即可。
在和Bot聊天文本框的右侧，单击运行。