数据质量监控节点_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。

背景信息

DataWorks的数据质量功能，帮助您感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的时间成本，避免任务重新运行带来的资源费用浪费，详情请参见数据质量。

使用限制

支持监控的表类型：MaxCompute、E-MapReduce、Hologres、CDH Hive、AnalyticDB PostgreSQL、AnalyticDB MySQL、StarRocks。
支持监控的表范围：
- 仅支持监控当前节点（即数据质量监控节点）所在工作空间绑定的数据源中的表。
- 每个节点仅支持监控一张表数据，但支持配置多个监控规则。不同类型的表，其监控范围如下：
  - 非分区表：默认为全表监控。
  - 分区表：需通过分区表达式指定监控某个分区。
  说明
  若您需要监控多张表，请创建多个节点使用。
支持执行的操作限制：
- 在Data Studio创建的数据质量监控规则，仅支持在数据开发运行，并执行修改、发布等管理操作。该规则也可在数据质量模块中查看，但不能触发调度运行，不允许执行相关管理操作。
- 若修改数据质量监控节点中配置的监控规则，且发布节点，则该节点原来生成的监控规则会被替换。

前提条件

已绑定计算资源，且该计算资源中已创建待监控表。
执行数据质量监控任务前，您需先创建监控节点所要监控的表，详情请参见绑定计算资源（参加新版数据开发公测）、节点开发。
已创建资源组。
仅支持使用Serverless资源组运行数据质量监控节点。详情请参见资源组管理。
（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限。添加成员并授权，详情请参见为工作空间添加空间成员。

一、创建数据质量监控节点

进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。
在左侧导航栏单击，进入数据开发，在项目目录右侧单击，选择新建节点 > 数据质量 > 质量监控，根据界面指引，输入节点的路径、名称信息，完成节点创建。

二、配置数据质量监控规则

1、选择待监控表

在数据质量监控节点编辑页面，单击添加表，在添加表对话框按需选择需要监控的目标表（可通过更多筛选条件快速查找）。

说明

如果此处未展示所需目标表，请前往数据地图手动刷新表元数据。

2、配置监控数据范围

非分区表：默认为全表监控，可忽略该步骤。
分区表：需选择要监控的分区数据，支持使用调度参数。单击预览即可验证分区表达式的计算结果是否正确。

3、配置数据质量监控规则

您可新建规则，也可导入已有规则使用。配置的规则默认为启用状态。

说明

质量监控节点创建规则时支持Copilot规则推荐功能，根据您的表信息智能生成对应质量规则，您可以按需选择接受或拒绝。
智能助手（DataWorks Copilot）正在部分地域公测中，如您空间所在地域不支持，可参考下文手动新建规则或导入已有规则。

新建规则

单击新建规则，即可基于模板或自定义SQL创建数据质量监控规则，不同方式的介绍及配置详情如下。

方式一：基于系统模板创建

平台内置多种监控规则，您可基于规则模板快速创建数据质量监控规则，操作步骤如下图。

说明

您也可在左侧系统模板列表，找到所需规则模板，单击+使用进行创建。

系统规则模板参数说明

参数	描述
规则名称	您可以自定义规则名称。
规则模板	定义需要对表进行哪种类型规则校验。数据质量为您提供大量内置表级别、字段级别的监控模板可直接选择。详情请参见查看内置规则模板。说明平均值、汇总值、最小值和最大值仅对数值型字段生效。
规则范围	该规则应用的范围，表级别规则默认为当前表，字段级别规则选择具体字段。
比较方式	定义规则具体怎么校验表数据是否符合预期。手动设置：自定义数据产出结果与规则的比较方式。不同规则模板，可选择的比较方式不同，具体请以实际界面为准。支持数值型结果对比，通常与固定值（即期望值）进行比较，比较方式包括大于、大于等于、等于、不等于、小于、小于等于。支持您自定义正常数据范围（正常阈值）与异常数据范围（红色阈值）。支持波动型结果对比，通常是进行范围比较，比较方式包括绝对值、上升、下降。支持您自定义正常数据范围（正常阈值），您还可以根据异常偏离程度定义数据产出存在异常（橙色阈值）与数据产出不符合预期（红色阈值）。智能动态阈值：您无需手动配置波动阈值或期望值，系统会根据智能算法，自动判断合理阈值；若发现数据异常，会即时触发告警或阻塞。动态阈值也可支持强、弱规则。说明仅自定义SQL、自定义范围、动态阈值类型的质量规则支持智能动态阈值比较方式。
监控阈值	当比较方式为手动设置时，您可以自行设置正常阈值与红色阈值。正常阈值：当数据质量规则校验结果满足此处设置的值时，说明数据校验符合预期。红色阈值：当数据质量规则校验结果满足此处设置的值时，说明数据校验不符合预期。当规则为波动型校验时，您需要指定橙色阈值。橙色阈值：当数据质量规则校验结果满足此处设置的值时，说明数据存在异常但不影响业务运行。
保留问题数据	当规则为启用状态时，在本条数据质量监控规则校验不通过的情况下，系统自动创建问题数据表存储质量规则校验过程中发现的问题数据。详情请参见：管理问题数据。重要目前仅支持MaxCompute表配置保留问题数据功能。目前仅部分数据质量监控规则支持配置保留问题数据功能。支持保存问题数据的规则，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。受启停状态影响，若规则为停用状态，则不执行保留问题数据。
启用状态	规则的启用和停用状态，用于控制该规则是否在生产环境中运行。重要状态设置为停用时，规则将无法触发测试运行，并且不会被关联的调度任务触发运行。
重要程度	设置规则在业务中的强弱程度。强规则：比较重要的规则，如果出现红色异常，默认会阻塞质量监控关联的调度任务的执行。弱规则：普通规则，如果出现红色异常，默认不会阻塞质量监控关联的调度任务的执行。
描述	您可以对该规则进行补充说明。

方式二：基于自定义模板创建

使用该方式之前，您需先前往数据质量 > 质量资产 > 规则模板库创建自定义规则模板，才可基于该模板创建数据质量监控规则，详情请参见创建并管理自定义规则模板。

基于自定义模板创建数据质量规则的操作步骤如下图。

说明

您也可在左侧自定义模板列表，找到所需规则模板，单击+使用进行创建。

自定义规则模板参数说明

此处仅展示自定义规则模板独有参数，其他参数解释，请参见系统规则模板参数说明。

配置项

说明

FLAG参数

用于定义需要在数据质量校验SQL执行前提前执行的SET命令。

SQL

定义完整的SQL校验逻辑，要求返回结果为一行一列，且结果为数值型。

自定义SQL中，请使用中括号的形式匹配表的分区表达式。示例如下：

SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd];

说明

${tableName}变量取值将根据实际监控的表动态替换。
配置分区表达式，详情请参见附录二：内置分区表达式。
如果您为表创建了质量监控，则通过此方式配置规则后，质量监控中设置的数据范围将不会生效。规则将以此处SQL语句中的WHERE为准，确认需要校验的表分区。

方式三：基于自定义SQL创建

该方式支持您自定义表的数据质量校验逻辑。

自定义SQL参数说明

此处仅展示自定义SQL独有参数，其他参数解释，请参见系统规则模板参数说明。

配置项

说明

FLAG参数

用于定义需要在数据质量校验SQL执行前提前执行的SET命令。

SQL

定义完整的SQL校验逻辑，要求返回结果为一行一列，且结果为数值型。

自定义SQL中，请使用中括号的形式匹配表的分区表达式。示例如下：

SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd];

说明

您需要在实际配置中将<table_name>替换为当前实际操作的表名，实际监控的表由此处SQL决定。
配置分区表达式，详情请参见附录二：内置分区表达式。
如果您为表创建了质量监控，则通过此方式配置规则后，质量监控中设置的数据范围将不会生效。规则将以此处SQL语句中的WHERE为准，确认需要校验的表分区。

导入已有规则
若待监控表在数据质量功能模块已创建相关监控规则，您可通过导入方式快速克隆相应规则；若未创建，请先前往数据质量创建，详情请参见配置规则：按表（单表）。
说明
该方式支持批量导入多个规则，支持对表字段级别数据配置监控规则。
单击导入规则，您可通过规则ID/名称、规则模板、关联范围（即全表或表的某些字段）搜索并选择需导入的规则。

说明

数据质量监控节点中创建的质量监控规则，在发布该节点后可进入数据质量模块查看规则详情，但不允许执行修改、删除等管理操作。

4、配置运行资源

用于选择执行质量规则检测所需的运行资源（即在哪个数据源中运行质量规则监控任务），默认为待监控表所在的数据源。

说明

如选择其他数据源，需确认数据源是否拥有该表的访问权限。

三、配置检测结果处理策略

在节点编辑页面的质量监控处置区域，您可针对数据质量监控规则校验的异常结果配置处理策略及订阅方式。

异常结果类别

异常结果类别	说明
强规则 · 校验失败	强弱：表示规则的重要程度。红色异常：数据校验指标结果命中红色质量异常阈值范围。通常是该质量异常阈值范围的定义为“数据校验不符合预期，会严重影响后续业务运行”。橙色异常：数据校验指标结果命中橙色质量异常阈值范围。通常是该质量异常阈值范围的定义为“数据校验存在异常，但不影响后续业务运行”。校验失败：校验任务运行失败。例如：监控的分区未产出，或用户用于监控的SQL运行失败。
强规则 · 红色异常
强规则 · 橙色异常
弱规则 · 校验失败
弱规则 · 红色异常
弱规则 · 橙色异常

异常结果处理策略

对于规则校验产生的异常结果，您可按需配置处理策略：

不忽略：可配置检测到某异常类别（例如，强规则出现红色异常）时，停止运行当前节点，并将节点置为失败状态。
说明
- 当前节点运行失败后，下游节点将不执行，以此阻塞生产链路，避免问题数据污染扩散。
- 支持添加多种异常结果类别进行检测。
- 通常，当异常产生的影响较大，会阻塞下游任务执行时，可使用该策略。
忽略：忽略异常，继续执行下游节点。

异常结果订阅方式

您可配置异常结果的接收方式（例如，邮件通知），当产生异常结果时，平台会以相应方式推送异常信息，以便您及时发现并处理异常。

说明

平台支持多种接收方式，具体请以实际界面为准。其中：

邮件、邮件和短信、电话仅支持选择当前账号下的用户作为接收人。请确认相关人员的邮箱或手机号配置正确，详情请参见查看和设置报警联系人。
其他方式需输入接收信息的Webhook地址。获取方式，请参见获取Webhook。

四、配置任务调度

如您需要周期性执行创建的节点任务，可单击节点编辑页面右侧的调度配置，根据业务需求配置该节点任务的调度信息。配置详情请参见节点调度配置。

五、调试任务

您可根据需要执行如下调试操作，查看任务是否符合预期。

（可选）选择运行资源组、赋值自定义参数取值。
- 单击数据质量监控节点右侧的调试配置，配置调试运行需使用的调度资源组。
- 若您的任务使用了调度参数，可在脚本参数区域为变量赋值，用于调试。参数赋值逻辑，详情请参见任务调试流程。
保存并运行任务。
单击顶部工具栏的图标，保存任务；单击图标，运行任务。
任务运行完成后，您可在节点编辑界面下方查看运行结果。若运行失败，可根据相应报错进行排查处理。

六、发布任务

节点任务配置完成后，需执行发布操作，发布后节点将根据调度配置内容进行周期性运行。

说明

执行发布操作后，当前数据质量监控节点及节点内配置的质量规则均会被发布。

单击顶部工具栏中的图标，保存节点。
单击顶部工具栏中的图标，发布节点。

发布节点的详细操作，请参见节点/工作流发布。

后续步骤

任务运维：任务发布后，会基于节点的配置周期性运行，您可单击节点编辑界面右上角的运维，进入运维中心查看周期任务的调度运行情况（例如，节点运行状态、触发规则详情等）。详情请参见管理周期任务。
数据质量：数据质量监控规则发布后，您也可进入数据质量模块查看规则详情，但不允许执行修改、删除等管理操作。详情请参见数据质量。