质量规则模板类型

模板分类

模板说明

完整性

字段空值校验

用于对单字段是否是空值进行校验。

字段空字符串校验

用于对单个字段是否是空字符串进行校验。

唯一性

字段唯一性校验

用于对单字段唯一值/非唯一值进行校验。

字段分组个数校验

用于对单字段数据进行去重值校验。

字段重复值个数校验

用于对单个字段重复且多余的数据进行校验。

及时性

时间函数比较

用于对单字段和业务日期之间的及时性的对比。

单表时间字段比较

用于对同一表的两列的时间差进行比较。

两表时间字段比较

用于对不同表的两列的时间差进行比较。

有效性

字段格式校验

用于识别表达式或者正则表达式对单字段的格式进行校验。

字段长度校验

用于对单字段的长度进行校验。

字段值域校验

用于对单字段的取值范围进行校验。

码表参照对比

支持对单字段是否在码表中进行判断。

数据标准码表参照对比

支持对单字段是否在码表中进行判断，支持直接选择数据标准模块维护的码表。

一致性

单表字段值一致性比较

用于对同一表两个字段原值进行数据的对比。

单表字段统计值一致性比较

用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。

单字段业务逻辑一致性比较

用于对同一表多个字段的复杂业务逻辑是否正确进行校验。

两表字段值一致性比较

用于对不同表两个字段原值进行数据的对比。

两表字段统计值一致性比较

用于对不同表两个字段进行统计数据的对比，如求和值、最大值等。

两表字段业务逻辑一致性比较

用于对不同表两个字段进行统计数据的对比，如求和值、最大值等。

跨源两表字段统计值一致性比较

用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。

稳定性

表稳定性校验

用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。

表波动性校验

用于对表/分区的大小、行数的波动性进行校验，统计结果和历史进行比较。

字段稳定性校验

用于对字段的平均值、最大值等稳定性进行校验，统计结果和固定值进行比较。

字段波动性校验

用于字段的平均值、最大值等波动性进行校验，统计结果和历史进行比较。

自定义SQL

自定义统计指标校验

用于对表的统计指标进行校验，支持固定值和波动性两种比较方式。

自定义数据详情校验

用于对表的详情数据进行自定义校验。支持自定义正常行数和异常行数，并支持异常归档。

模板分类

模板说明

稳定性

数据源连通性监测

用于对数据源的连通性进行监控。

表结构异动监测

用于对表的元数据变动进行监控。

模板详情分类

描述

一致性

实时离线对比

当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。

实时多链路对比

• 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。

• 对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。

稳定性

实时统计值检测

• 实时数据为指标值或可统计数据时，用于判断数据是否正确

• 可选择和固定值或者历史进行对比。