配置数据质量规则去噪

当任务触发质量规则校验时,您可以使用去噪管理功能,对当前工作空间内,数据质量规则校验异常的数据不触发报警,且不阻塞任务运行(任务不会因为数据质量校验不通过而失败退出)。

前提条件

已创建数据质量校验规则,详情请参见配置规则:按表(单表)配置规则:按模板(批量)

使用限制

  • 仅阿里云主账号支持创建并管理去噪规则。

  • 去噪规则仅对当前工作空间内,规则的指定对象(去噪规则中指定的数据质量规则)生效。

  1. 进入去噪管理页面。

    1. 进入数据质量概览页面,详情请参见进入数据质量概览(旧版)

    2. 在左侧导航栏选择去噪管理,进入去噪管理页面。

      去噪管理

  2. 创建去噪规则。

    1. 单击右上角的创建去噪规则

    2. 在弹出的创建去噪规则页面,单击添加去噪规则

      添加去噪规则

      参数

      描述

      业务日期

      选择需要进行去噪的业务日期,开启去噪规则后,该业务日期对应的分区的数据不符合预期时将不阻塞任务运行。

      规则类型

      选择需要去噪的数据质量校验规则类型,支持选择多种类型的数据质量校验规则。

      期望值

      您可以将目标数据作为样本值或基准值,为工作空间下指定类型的质量校验规则进行去噪。

      • 样本值去噪:对指定时间内样本数据进行数据质量校验时,如果校验异常,且需要不阻塞任务运行,则可选择此功能,即上述业务时间数据不符合预期时,不会阻塞任务。

      • 基准值去噪:当数据作为基准值,在一段时间内该基准值数据不符合预期,且需要不阻塞后续一段时间内的数据质量校验,可选择此功能。即上述业务时间的数据作为基准值校验不符合预期时,不阻塞后续任务运行。

      说明
      • 样本

        当天采集的具体的样本的值。例如对于SQL任务表行数,1天波动检测,则样本是当天分区的表行数。

      • 基准值

        历史样本的对比值:

        • 如果规则是SQL任务表行数,1天波动检测,则基准值是前一天分区产生的表行数。

        • 如果规则是SQL任务表行数,7天平均值波动检测,则基准值是前7天的表行数据的平均值。

      是否启动

      选择是否开启该降噪规则,开启后当任务中存在质量规则校验不通过的数据时将不阻塞任务运行。

    3. 单击保存,完成去噪规则配置。

管理去噪规则

您可以在样本去噪页面,您可以查看已创建的去噪规则详情,并对已创建的去噪规则进行编辑、删除的操作。image