创建数据表质量规则

前提条件

已发布数据表至生产环境。如何发布数据表至生产环境，请参见管理发布任务。

权限校验

质量负责人、普通用户需具备Dataphin表所在数据源的同步读权限，如果没有权限，则需要申请数据源权限，详情请参见管理Dataphin数据源权限。

操作流程

步骤一：选择数据表

1. 在Dataphin首页，单击顶部菜单栏的资产。

2. 在资产页面，按照下图操作指引，进入添加质量规则对话框。

   

3. 在添加质量规则对话框中，下拉选择参数后，单击开始配置。

   • 如果您的表类型选择物理表，可以通过选择所属项目、环境筛选数据表。

   • 如果您的表类型选择逻辑表，可以通过选择数据板块、环境筛选数据表。

     

步骤二：新建质量规则

1. 单击新建质量规则。

   

2. 在新建质量规则对话框，配置参数后单击确定。

   

   参数	描述
   规则名称	自定义质量规则的名称。
   规则强度	选择质量规则的强弱： 如果您选择了强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。 如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
   描述	自定义质量规则描述。不超过128字符。
   模板来源	系统模板：模板内置参数可配置，适合通用的规则创建。 自定义SQL：可通过SQL灵活自定义质量监控规则，适用于灵活复杂场景。 自定义模板：模板预置参数，无需配置，一般用于含业务逻辑的规则创建。
   规则模板	下拉可选择规则模板，完整性、唯一性、及时性、有效性、一致性、稳定性、自定义SQL。 完整性：包括字段空值校验和字段空字符串校验。 唯一性：包含字段唯一性校验、字段分组个数校验和字段重复值个数校验。 及时性：包含时间函数比较、单表时间字段比较和两表时间字段比较。 有效性：包含字段格式校验、字段值域校验和码表参照对比。 一致性：包含单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较和两表字段业务逻辑一致性比较。 稳定性：包含表稳定性校验、表波动性校验、字段稳定性校验和字段波动性校验。 自定义SQL：包含自定义统计指标校验和自定义数据详情校验。 详情请参见创建全域数据表规则的模板类型说明。
   规则类型	规则类型包含系统类型和自定义类型。 系统类型和模板有关，是模板最基础的属性。 支持用户自定义模板的类型，作为说明和筛选功能。
   规则配置	详情请参见创建全域数据表规则的规则配置说明。
   规则校验	数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。 异常校验可用指标由模板和配置内容决定，支持多种条件的and / or条件，实际配置中建议小于3条。 详情请参见创建全域数据表规则的校验配置说明。
   异常归档	默认关，可切换为开。可在质量报告进行下载。 说明 异常归档开启，异常结果明细自动保存到指定文件服务器，文件名：表名+异常检测时间。

预览SQL

规则配置列表

质量规则创建完成后，您可在规则配置列表进行查看、编辑、试跑、运行、删除等操作。

步骤三：新建调度

1. 单击新建调度。

   

2. 在新建调度对话框，配置参数后单击确定。

   

   参数	描述
   调度名称	自定义调度名称。
   调度方式	支持定时调度、代码检查触发调度和固定任务触发调度。 定时调度：按照设置的时间，周期性的对数据进行质量检测，适合数据文档产出的场景。 调度周期：包含日、周、月、小时、分钟五种周期类型。 代码检查触发调度：在每一个代码任务执行时，会检查是否修改了该规则所覆盖的表/分区；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。 说明 适用于表的修改任务不固定/重点监控表，每次变更都需要监控的情况。 固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。 说明 适用于表的修改任务固定的情况。 触发任务：支持选择所有任务均完成触发或任一任务完成即触发。
   分区表达式	支持选择分区表达式类型或自定义分区表达式。
   分区预算	默认业务日期当天。

调度配置列表

调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作

步骤四：告警配置

1. 单击告警设置后，再单击右上角的编辑，在告警设置对话框，选择告警接收人及告警方式后，单击确定。

   

步骤五：查看质量报告

单击质量报告，查看当前质量规则的规则校验概览和规则校验明细。

• 单击图标，查看质量规则的规则校验详情。

• 单击图标，查看质量规则的执行日志。

数据表规则列表

您可以在质量规则列表页面查看已经配置的数据表规则信息，并进行查看、运行、转交质量负责人、删除等操作。