创建校验数据表的质量规则

操作流程


功能	描述
步骤一：选择数据表	选择需要创建质量规则的数据表。
步骤二：设置告警	添加告警信息接收人。如果触发了质量监控规则，系统会给您发送告警消息，便于您及时发现并处理异常。
步骤三：创建分区表达式	定义数据表质量检验的分区数据，避免全表扫描。
步骤四：配置质量规则	配置分区表达式下的数据表的质量校验规则。
步骤五：试跑规则	测试质量规则配置的是否正确。
步骤六：打开校验开关	质量检验开关打开后，质量校验规则即可生效。

步骤一：选择数据表

登录Dataphin控制台。
在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
在Dataphin首页，单击顶部菜单栏中的资产。
在数据资产页面，单击顶部菜单栏的质量。
在数据质量页面，单击左侧导航栏的数据表规则。
在数据表规则页面，单击新建质量规则。
在新建质量规则对话框，选择数据表后单击开始配置。
您也可以选择业务板块、所属项目和表类型筛选数据表。

步骤二：设置告警

单击告警设置后的图标。
在告警设置对话框，选择告警接收人及告警方式后，单击确定。

步骤三：创建分区表达式

分区表达式用于限定一组质量规则的作用范围。数据表可以有多个分区表达式，每个分区表达式下可以配置多个质量规则，如下图所示。 gaga

单击质量规则配置后的新建分区表达式。

在新建分区表达式对话框，选择分区表达式类型并填写分区表达式后，单击保存。

如果您选择的是非分区表达式类型，则表达式为ds=NONE。

如果您选择的是自定义，则需您手动填写系统支持的分区表达式，例如ds=${yyyyMM01}。

系统支持的分区及表达式说明如下。


分区	表达式
最近一天	`ds='${yyyyMMdd}'`。
本周第一天	`ds=tdBeginDate('${yyyyMMdd}', 'w', 'yyyyMMdd')`。
本周最后一天	`ds=customEndDate('${yyyyMMdd}', 'w', '1', 0, 'yyyyMMdd')`。
本月第一天	`ds=tdBeginDate('${yyyyMMdd}', 'm', 'yyyyMMdd')`。
本月最后一天	`ds=customEndDate('${yyyyMMdd}', 'm', '01', 0, 'yyyyMMdd')`。
本季度第一天	`ds=tdBeginDate('${yyyyMMdd}', 'q', 'yyyyMMdd')`。
本季度最后一天	`ds=customEndDate('${yyyyMMdd}', 'q', '0101', 0, 'yyyyMMdd')`。
本年第一天	`ds=tdBeginDate('${yyyyMMdd}', 'y', 'yyyyMMdd')`。
本年最后一天	`ds=customEndDate('${yyyyMMdd}', 'y', '0101', 0, 'yyyyMMdd')`。
上月第一天	`ds=cBeginDate('${yyyyMMdd}', 'm', 'yyyyMMdd')`。
上月最后一天	`ds=cEndDate('${yyyyMMdd}', 'm', 'yyyyMMdd')`。
所有分区	`ds=ALL`。

同时您也可以对已添加的分区表达式执行如下操作：

单击分区表达式后的图标，编辑分区表达式。
单击分区表达式后的图标，删除分区表达式。

步骤四：配置质量规则

单击分区表达式后的新建质量规则。

在新建规则对话框，配置参数后单击保存。

规则类型包括质量模板规则和自定义规则：

如果规则类型选择了质量模板规则。 gaga


参数	描述
对象名称	选择质量规则校验的对象。对象名称包括`表：表名称`和`字段：表所包含的字段`。
规则强度	选择质量规则的强弱：如果您选择了强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
模板类型	选择质量规则校验的维度。根据质量规则校验对象的类型，系统会自动为您呈现对应校验模板的类型，详情请参见表 1。
趋势	如果校验类型为波动型，则趋势包括绝对值、向上、向下。如果校验类型为对比型，则趋势为固定值。详情请参见表 1。
对比设置	设定质量规则校验结果与目标值的对比规则。对比规则包括大于目标值、大于等于目标值、等于目标值、小于目标值和小于等于目标值，且需要设置对比规则对应的目标值。
波动阈值	设定质量规则校验结果的波动阈值，波动监测阈值设定在对比值基础上的0~10倍率的范围内。

表 1. 配置表
对象名称	模板类型	趋势	配置项	校验类型
`表：表名称`	表/分区大小1天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数1天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区大小7天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数7天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数30天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数大小7天平均波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数30天对比	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表分区数	固定值	对比设置	对比型
`表：表名称`	表分区数波动检测	绝对值、向上、向下	波动阈值	波动型
`表：表名称`	表/分区行数1，7，30，本月1号分区波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段唯一值个数期望校验	固定值	对比设置	对比型
`字段：表所包含的字段名称`	字段唯一值1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段平均值1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段最大值1天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段最大值1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段最小值1天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段最小值1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段汇总值1天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段汇总值1，7，30天波动检测	绝对值、向上、向下	波动阈值	波动型
`字段：表所包含的字段名称`	字段空值个数	固定值	对比设置	对比型
`字段：表所包含的字段名称`	空值率（字段空值个数/行数）	固定值	对比设置	对比型
`字段：表所包含的字段名称`	字段重复个数	固定值	对比设置	对比型
`字段：表所包含的字段名称`	重复率（字段重复个数/总行数）	固定值	对比设置	对比型

如果规则类型选择了自定义规则。 gaga


参数	描述
规则名称	填写规则名称。
规则内容	填写质量规则校验的内容，例如。 `select sum(value) as metric from current_table ctb left outer join related_table rtb on ctb.id = rtb.id where ds = ${bizdate};` 代码编写完成后，单击规范性校验系统帮助您校验代码的语法格式。您也单击格式化系统自动为您调整代码的格式。
规则强度	选择质量规则的强弱：如果您选择了强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
检测类型	选择质量规则校验的类型。检测类型包括1天波动、7天波动、7天平均值波动、30天平均值波动、对比固定值。
趋势	如果校验类型为波动型，则趋势包括绝对值、向上、向下。如果校验类型为对比型，则趋势为固定值。
对比设置	选择质量规则校验的结果与目标值的对比规则和目标值。对比规则包括大于目标值、大于等于目标值、等于目标值、小于目标值和小于等于目标值，且需要设置对比规则对应的目标值。说明当检测类型为对比固定值时，显示对比设置。
波动阈值	设定质量规则校验结果的波动阈值，波动监测阈值设定允许范围为0.0~10.0。说明当检测类型为1天波动、7天波动、7天平均值波动或30天平均值波动时，显示波动阈值。