创建数据表质量规则

为了提升数据表质量监控的便捷性,Dataphin支持创建校验数据表的质量规则。数据表参与质量规则校验时,如果触发了质量弱监控规则,系统会给您发送告警消息,便于您及时发现并处理异常;如果触发了质量强监控规则,系统会自动中断该表所在的任务,避免脏数据流入下游,同时系统会给您发送告警消息,便于您及时发现并处理异常。本文为您介绍如何配置数据表的质量规则。

前提条件

已发布数据表至生产环境。如何发布数据表至生产环境,请参见管理发布任务

权限校验

质量负责人、普通用户需具备Dataphin表所在数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理Dataphin数据源权限

操作流程

功能

描述

步骤一:选择数据表

选择需要创建质量规则的数据表。

步骤二:新建质量规则

创建Dataphin数据表的质量校验规则。

步骤三:新建调度

配置调度时,定义数据表质量检验的分区数据必须配置分区,避免全表扫描。

步骤四:告警配置

添加告警信息接收人。如果触发了质量监控规则,系统会给您发送告警消息,便于您及时发现并处理异常。

步骤五:查看质量报告

查看质量规则报告的结果。

步骤一:选择数据表

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 资产页面,按照下图操作指引,进入添加质量规则对话框。

    image
  3. 添加质量规则对话框中,下拉选择参数后,单击开始配置

    • 如果您的表类型选择物理表,可以通过选择所属项目环境筛选数据表。

    • 如果您的表类型选择逻辑表,可以通过选择数据板块环境筛选数据表。

      image

步骤二:新建质量规则

  1. 单击新建质量规则

    image
  2. 新建质量规则对话框,配置参数后单击确定

    image

    参数

    描述

    规则名称

    自定义质量规则的名称。

    规则强度

    选择质量规则的强弱:

    • 如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。

    • 如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。

    描述

    自定义质量规则描述。不超过128字符。

    模板来源

    系统模板:模板内置参数可配置,适合通用的规则创建。

    自定义SQL:可通过SQL灵活自定义质量监控规则,适用于灵活复杂场景。

    自定义模板:模板预置参数,无需配置,一般用于含业务逻辑的规则创建。

    规则模板

    下拉可选择规则模板,完整性唯一性及时性有效性一致性稳定性自定义SQL

    • 完整性:包括字段空值校验字段空字符串校验

    • 唯一性:包含字段唯一性校验字段分组个数校验字段重复值个数校验

    • 及时性:包含时间函数比较单表时间字段比较两表时间字段比较

    • 有效性:包含字段格式校验字段值域校验码表参照对比

    • 一致性:包含单表字段值一致性比较单表字段统计值一致性比较单字段业务逻辑一致性比较两表字段值一致性比较两表字段统计值一致性比较两表字段业务逻辑一致性比较

    • 稳定性:包含表稳定性校验表波动性校验字段稳定性校验字段波动性校验

    • 自定义SQL:包含自定义统计指标校验自定义数据详情校验

    详情请参见创建全域数据表规则模板类型说明

    规则类型

    规则类型包含系统类型和自定义类型。

    • 系统类型和模板有关,是模板最基础的属性。

    • 支持用户自定义模板的类型,作为说明和筛选功能。

    规则配置

    详情请参见创建全域数据表规则规则配置说明

    规则校验

    • 数据质量规则校验后,结果会和异常校验的配置进行对比,符合条件则校验结果为不通过;同时触发告警等后续流程。

    • 异常校验可用指标由模板和配置内容决定,支持多种条件的and / or条件,实际配置中建议小于3条。

      详情请参见创建全域数据表规则校验配置说明

    异常归档

    默认,可切换为。可在质量报告进行下载。

    说明

    异常归档开启,异常结果明细自动保存到指定文件服务器,文件名:表名+异常检测时间。

预览SQL

说明
  • 关键信息没有填写完整,预览SQL不可用。

  • 左边为上次保存配置SQL预览,若未配置,则为空;右边为当前配置SQL预览。

image

规则配置列表

质量规则创建完成后,您可在规则配置列表进行查看、编辑、试跑、运行、删除等操作。

image

区域

描述

搜索区:支持按照对象或者规则名称进行快捷搜索。

筛选区:支持按照规则类型规则模板规则强度试跑状态生效状态进行筛选。

展示区:展示规则配置列表的对象名称规则名称试跑状态生效状态等信息。

操作区:您可进行查看克隆编辑试跑运行调度配置删除操作。

  • 查看:可查看规则配置详情。

  • 克隆:可快速克隆规则。

  • 编辑:编辑规则后,需重新试跑。

  • 试跑:试跑后,可单击查看试跑日志

  • 运行:运行后,可在校验记录中查看校验结果。

  • 调度配置:可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:

  • 如需批量试跑质量规则的对象,您可单击image的图标进行试跑。

  • 如需批量运行质量规则的对象,您可单击image的图标进行运行。

  • 如需批量调度配置质量规则的对象,您可单击调度配置进行配置。

  • 如需批量开启质量规则的对象的生效状态,您可单击image图标选择开启

  • 如需批量关闭质量规则的对象的生效状态,您可单击image图标选择关闭

  • 如需批量删除质量规则的对象,您可单击image图标选择删除

步骤三:新建调度

说明
  • 规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。

  • 同一个规则最多能配置10个调度。

  • 调度配置完全一致时,支持自动去重

  1. 单击新建调度

    image
  2. 新建调度对话框,配置参数后单击确定

    image

    参数

    描述

    调度名称

    自定义调度名称。

    调度方式

    支持定时调度、代码检查触发调度固定任务触发调度

    • 定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。

      • 调度周期:包含小时分钟五种周期类型。

    • 代码检查触发调度:在每一个代码任务执行时,会检查是否修改了该规则所覆盖的表/分区;如果涉及到配置了该调度方式的表发生变更,则会开始执行质量规则。

      说明

      适用于表的修改任务不固定/重点监控表,每次变更都需要监控的情况。

    • 固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。

      说明

      适用于表的修改任务固定的情况。

      • 触发任务:支持选择所有任务均完成触发任一任务完成即触发

    分区表达式

    支持选择分区表达式类型自定义分区表达式

    分区预算

    默认业务日期当天。

调度配置列表

调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作

image

区域

描述

搜索区:支持按照调度名称进行快捷搜索。

筛选区:支持按照定时调度触发调度进行筛选。

展示区:展示规则配置列表的调度名称调度类型等信息。

操作区:

  • 如需编辑质量规则的调度配置,您可单击操作列下image的图标进行编辑

  • 如需克隆质量规则的调度配置,您可单击操作列下image的图标进行克隆

  • 如需删除质量规则的调度配置,您可单击操作列下image的图标进行删除

步骤四:告警配置

  1. 单击告警设置后,再单击右上角的编辑,在告警设置对话框,选择告警接收人告警方式后,单击确定

    image

步骤五:查看质量报告

单击质量报告,查看当前质量规则的规则校验概览规则校验明细

  • 单击image图标,查看质量规则的规则校验详情。

  • 单击image图标,查看质量规则的执行日志。

image

数据表规则列表

您可以在质量规则列表页面查看已经配置的数据表规则信息,并进行查看、运行、转交质量负责人、删除等操作。

image

序号

描述

过滤项:您可以通过筛选条件过滤需要查询的质量规则。

您可以根据我负责的表名称校验开关最近一次校验状态质量负责人表类型数据板块资源负责人所属项目条件进行精确筛选。

展示区:为您展示表名称校验开关生效/总质量规则数最近一次校验状态质量负责人表类型数据板块所属项目资源负责人数据表质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情运行查看质量报告转交质量负责人删除的操作。

  • 查看质量规则详情:可查看数据表质量规则配置详情。

  • 运行:可根据配置的调度或自定义分区来运行数据表。

  • 查看质量报告:可查看数据表对应的质量报告。

  • 转交质量负责人:填写需要转交的质量负责人。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:您可以批量选择任务,进行运行转交开启关闭删除操作。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈