数据质量规则配置流程

更新时间:
复制为 MD 格式

本文为您介绍数据质量监控规则的配置流程及生效逻辑,以及规则列表的相关操作。

规则配置流程

您可基于表配置单个表的数据质量监控规则,也可基于模板,批量配置多个表的数据质量监控规则,具体如下。

  • 基于表配置数据质量监控规则(单个配置监控规则)

    具体配置操作,详情请参见配置规则:按表(单表)

  • 基于模板配置数据质量监控规则(批量配置监控规则)

    按模板配置质量规则的主要流程如下:

    1. 选择规则模板并配置校验方式

      内置模板分为表级和字段级的模板规则,选择模板后,以待校验的为对象,定义该表数据质量校验规则的校验方式。通过数据质量规则定义对该表数据的具体校验方式,从而确定表数据是否符合预期。

    2. 批量添加需要规则校验的表或字段

      选择待批量校验的表或字段,将规则模板应用到目标表或字段上。

    3. 新建或关联质量监控

      以校验的表的具体数据范围为对象(如分区表的具体分区),通过质量规则关联质量监控的方式,定义对象数据需要进行哪些质量规则校验。

    具体配置操作,详情请参见配置规则:按模板(批量)

    说明

    支持批量配置多个表质量规则。

进入规则列表

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据治理 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏选择质量资产 > 规则列表,进入数据质量监控规则列表页面。

查看规则列表

规则列表

区域

功能

描述

数据库选择

您可以根据需要先选择待查看规则列表所在的数据库。

②③

过滤项

您可以通过筛选条件过滤需要查询的质量规则。

您可以根据表名规则模板配置来源质量维度重要程度启用状态关联范围关联调度等条件进行精确筛选。

质量规则列表

为您展示ID/规则名称质量维度表名关联范围规则模板监控阈值质量监控数据范围重要程度启用状态关联调度等质量规则详细信息,同时您可以在操作列对规则进行修改告警订阅删除或查看操作日志等操作。

  • 告警订阅:单击后可快速订阅规则的校验结果。支持通过邮件通知邮件和短信通知钉钉群机器人钉钉群机器人@ALL飞书群机器人企业微信机器人自定义Webhook电话等方式发送报警信息。

  • 操作日志:可查看数据质量规则操作日志。

批量操作

您可以批量选择规则,进行关联调度订阅管理、批量启用、批量停用和批量删除等操作。