自定义校验模板设置
指标比对模板
进入到 校验-数据校验 模块列表，如下图所示:
点击"新建校验模板"
参数名 | 说明 |
数据校验模板 | 填写数据校验模板名称 |
数据校验模式类型 | 可选:
count校验为基础校验，无需配置模板 |
覆盖校验数据源类型 | 选择数据源和对应的数据校验引擎，例如Hive数据源，可选MapReduce 支持添加多行 |
描述 | 模板描述，支持中英文 |
校验规则内容设置:
是否打开Count校验： 打开后，使用该指标校验的时候会默认对双端数据做Count对比。
指标校验配置:
字段类型 | 字段数据类型 | 可选校验指标 | |
原生数据类型 （即基础的数据类型） | 数值类型-整型 | TINYINT | SUM,AVG,MIN,MAX |
SMALLINT | |||
INT | |||
BIGINT | |||
数值类型-浮点型 | FLOAT | SUM,AVG,MIN,MAX | |
DOUBLE | |||
DECIMAL | |||
布尔类型 | BOOLEAN | SUM,AVG,MIN,MAX | |
字符串类型 | STRING | SUM(Length), SUM(MD5/CRC), COUNT(Dictinct) | |
BINARY | |||
VARCHAR | |||
CHAR | |||
日期/时间类型 | TIMESTAMP | MIN,MAX,SUM(MD5),COUNT | |
DATE | |||
复合数据类型 | 数据类型 | ARRAY_NUMBER | SUM(MD5),SUM(Size),MAX(Size),MIN(Size) |
ARRAY_STR | SUM(MD5),SUM(Size),MAX(Size),MIN(Size) | ||
ARRAY_TIME | SUM(MD5),SUM(Size),MAX(Size),MIN(Size) | ||
ARRAY_COMPLEX: ARRAY<MAP<STRING, STRING>> 或 ARRAY<STRUCT<name:STRING, age:INT>> | SUM(MD5),SUM(Size),MAX(Size),MIN(Size) | ||
映射类型 | MAP<KEY_TYPE, VALUE_TYPE> | SUM(MD5),SUM(Size),MAX(Size),MIN(Size) | |
结构类型 | STRUCT<field1:type1, field2:type2, ...> | 拆分为基础类型后基于基本类型的默认规则全选，进行比对 |
差异容忍率配置：
差异率： (|目标端值-源端值｜）/源端值 *100%
差异率 < 差异容忍率 ，即 (|目标端值-源端值｜）/源端值 *100% < 差异容忍率 视为通过。
差异容忍率支持设置“所有指标一致”或“根据校验指标逐个设定”：
1.所有指标一致
2.根据校验指标逐个设定
弱内容比对模板
填写基础信息:
参数名 | 说明 |
数据校验模板 | 填写数据校验模板名称 |
数据校验模式类型 | 可选:
count校验为基础校验，无需配置模板 |
覆盖校验数据源类型 | 选择数据源和对应的数据校验引擎，例如Hive数据源，可选MapReduce 支持添加多行 |
描述 | 模板描述，支持中英文 |
=