数据质量规则配置流程

本文为您介绍数据质量监控规则的配置流程及生效逻辑,以及规则列表的相关操作。

规则配置流程

您可基于表配置单个表的数据质量监控规则,也可基于模板,批量配置多个表的数据质量监控规则,具体如下。

进入规则列表

  1. 进入数据质量页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据质量,在下拉框中选择对应工作空间后单击进入数据质量

  2. 在左侧导航栏选择规则管理 > 规则列表,进入数据质量监控规则列表页面。

查看规则列表

image

功能

描述

过滤项

在上图的区域①,您可以通过筛选条件过滤需要查询的质量规则。

您可以根据引擎/数据源引擎/数据库实例表名规则模板配置人强弱属性启停状态关联调度规则类型等条件进行精确筛选。

质量规则列表

在上图的区域②,为您展示规则名称规则ID表名规则字段分区表达式关联调度规则模板强/弱启停状态配置人等质量规则详细信息,同时您可以在操作列对规则进行订阅管理修改规则、删除规则、停止/启动规则、设为强/弱规则、查看日志等操作。

  • 订阅管理:单击后可快速订阅规则的校验结果。支持通过短信、邮件、钉钉群机器人、飞书群机器人和企业微信机器人等方式发送报警信息。

  • 停止/启动规则:单击后可启用或停用规则,用于控制质量规则是否在生产环境中运行。

    • 启动:在数据质量规则关联产出表数据的调度任务执行时,便会触发质量规则校验。

    • 停止:在数据质量规则关联产出表数据的调度任务执行时,不会触发质量规则校验。

  • 设为强/弱规则:用于修改规则的强弱属性,规则强/弱将影响规则是否报警与阻塞任务运行。

    • 如果设置强规则,红色异常报警并阻塞下游任务节点,橙色异常报警不阻塞。

    • 如果设置弱规则,红色异常报警不阻塞下游任务节点,橙色异常不报警不阻塞。

  • 日志:可查看数据质量规则操作日志。

批量操作

在上图的区域③,您可以批量选择任务,进行关联调度订阅管理启动停止删除等操作。

重要

如果您已经将进行了关联调度的配置,在删除质量规则时,需要先取消关联调度,再删除质量规则。如果您先删除了质量规则再取消关联调度,可能会导致已删除的质量规则仍然生效。