创建数据表质量规则
为了提升数据表质量监控的便捷性,Dataphin支持创建校验数据表的质量规则。数据表参与质量规则校验时,如果触发了质量弱监控规则,系统会给您发送告警消息,便于您及时发现并处理异常;如果触发了质量强监控规则,系统会自动中断该表所在的任务,避免脏数据流入下游,同时系统会给您发送告警消息,便于您及时发现并处理异常。本文为您介绍如何配置数据表的质量规则。
前提条件
已发布数据表至生产环境。如何发布数据表至生产环境,请参见管理发布任务。
权限校验
质量负责人、普通用户需具备Dataphin表所在数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理Dataphin数据源权限。
操作流程
功能 |
描述 |
选择需要创建质量规则的数据表。 |
|
创建Dataphin数据表的质量校验规则。 |
|
配置调度时,定义数据表质量检验的分区数据必须配置分区,避免全表扫描。 |
|
添加告警信息接收人。如果触发了质量监控规则,系统会给您发送告警消息,便于您及时发现并处理异常。 |
|
查看质量规则报告的结果。 |
步骤一:选择数据表
在Dataphin首页,单击顶部菜单栏的资产。
在资产页面,按照下图操作指引,进入添加质量规则对话框。
在添加质量规则对话框中,下拉选择参数后,单击开始配置。
如果您的表类型选择物理表,可以通过选择所属项目、环境筛选数据表。
如果您的表类型选择逻辑表,可以通过选择数据板块、环境筛选数据表。
步骤二:新建质量规则
单击新建质量规则。
在新建质量规则对话框,配置参数后单击确定。
参数
描述
规则名称
自定义质量规则的名称。
规则强度
选择质量规则的强弱:
如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。
如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
描述
自定义质量规则描述。不超过128字符。
模板来源
系统模板:模板内置参数可配置,适合通用的规则创建。
自定义SQL:可通过SQL灵活自定义质量监控规则,适用于灵活复杂场景。
自定义模板:模板预置参数,无需配置,一般用于含业务逻辑的规则创建。
规则模板
下拉可选择规则模板,完整性、唯一性、及时性、有效性、一致性、稳定性、自定义SQL。
完整性:包括字段空值校验和字段空字符串校验。
唯一性:包含字段唯一性校验、字段分组个数校验和字段重复值个数校验。
及时性:包含时间函数比较、单表时间字段比较和两表时间字段比较。
有效性:包含字段格式校验、字段值域校验和码表参照对比。
一致性:包含单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较和两表字段业务逻辑一致性比较。
稳定性:包含表稳定性校验、表波动性校验、字段稳定性校验和字段波动性校验。
自定义SQL:包含自定义统计指标校验和自定义数据详情校验。
规则类型
规则类型包含系统类型和自定义类型。
系统类型和模板有关,是模板最基础的属性。
支持用户自定义模板的类型,作为说明和筛选功能。
规则配置
规则校验
异常归档
默认关,可切换为开。可在质量报告进行下载。
说明异常归档开启,异常结果明细自动保存到指定文件服务器,文件名:表名+异常检测时间。
预览SQL
关键信息没有填写完整,预览SQL不可用。
左边为上次保存配置SQL预览,若未配置,则为空;右边为当前配置SQL预览。

规则配置列表
质量规则创建完成后,您可在规则配置列表进行查看、编辑、试跑、运行、删除等操作。

区域 |
描述 |
① |
搜索区:支持按照对象或者规则名称进行快捷搜索。 筛选区:支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。 |
② |
展示区:展示规则配置列表的对象名称、规则名称、试跑状态、生效状态等信息。 |
③ |
操作区:您可进行查看、克隆、编辑、试跑、运行、调度配置、删除操作。
|
④ |
批量操作区:
|
步骤三:新建调度
规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。
同一个规则最多能配置10个调度。
调度配置完全一致时,支持自动去重
单击新建调度。
在新建调度对话框,配置参数后单击确定。
参数
描述
调度名称
自定义调度名称。
调度方式
支持定时调度、代码检查触发调度和固定任务触发调度。
定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。
调度周期:包含日、周、月、小时、分钟五种周期类型。
代码检查触发调度:在每一个代码任务执行时,会检查是否修改了该规则所覆盖的表/分区;如果涉及到配置了该调度方式的表发生变更,则会开始执行质量规则。
说明适用于表的修改任务不固定/重点监控表,每次变更都需要监控的情况。
固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。
说明适用于表的修改任务固定的情况。
触发任务:支持选择所有任务均完成触发或任一任务完成即触发。
分区表达式
支持选择分区表达式类型或自定义分区表达式。
分区预算
默认业务日期当天。
调度配置列表
调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作

区域 |
描述 |
① |
搜索区:支持按照调度名称进行快捷搜索。 筛选区:支持按照定时调度、触发调度进行筛选。 |
② |
展示区:展示规则配置列表的调度名称、调度类型等信息。 |
③ |
操作区:
|
步骤四:告警配置
单击告警设置后,再单击右上角的编辑,在告警设置对话框,选择告警接收人及告警方式后,单击确定。
步骤五:查看质量报告
单击质量报告,查看当前质量规则的规则校验概览和规则校验明细。
单击
图标,查看质量规则的规则校验详情。
单击
图标,查看质量规则的执行日志。

数据表规则列表
您可以在质量规则列表页面查看已经配置的数据表规则信息,并进行查看、运行、转交质量负责人、删除等操作。

序号 |
描述 |
① |
过滤项:您可以通过筛选条件过滤需要查询的质量规则。 您可以根据我负责的、表名称、校验开关、最近一次校验状态、质量负责人、表类型、数据板块、资源负责人、所属项目条件进行精确筛选。 |
② |
展示区:为您展示表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、表类型、数据板块、所属项目、资源负责人数据表质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情、运行、查看质量报告、转交质量负责人、删除的操作。
|
③ |
批量操作区:您可以批量选择任务,进行运行、转交、开启、关闭、删除操作。 |