名称 | 类型 | 描述 | 示例值 |
---|---|---|---|
object | 数据质量结果 | ||
Id | long | 校验结果 ID | 10001 |
Status | string | 校验结果状态 | Passed |
TaskInstanceId | long | 质量校验任务实例 ID | 20001 |
Rule | object | 校验开始时,规则配置快照 | |
Id | long | 规则 ID,全局唯一标识 | 100001 |
Name | string | 规则名称,数字、英文字母、汉字、半角全角标点符号组合,最长 255 个字符 | 表不能为空 |
TenantId | long | DataWorks 租户 ID | 1 |
ProjectId | long | DataWorks 项目空间 ID | 100 |
Enabled | boolean | 规则是否启用 | true |
Severity | string | 规则对于业务的等级(对应页面上的强弱规则) | High |
Description | string | 规则描述信息,最长 500 个字符 | this is a odps _sql task |
Target | object | 规则所监控的对象 | |
Type | string | 监控对象类型
| Table |
DatabaseType | string | 表类型的数据集,表所属的数据库类型
| maxcompute |
TableGuid | string | 表在数据地图中的唯一 ID | odps.unit_test.tb_unit_test |
PartitionSpec | string | 分区表的分区设置 | ds=$[yyyymmdd-1] |
TemplateCode | string | 创建规则时所引用的规则模板 | system::user_defined |
SamplingConfig | object | 样本采集所需的设置 | |
Metric | string | 采样的指标名称
| Min |
MetricParameters | string | 样本采集时,所需的参数 | { "Columns": [ "id", "name" ] } |
SettingConfig | string | 具体执行采样语句前,插入执行的一些运行时参数设置语句,最长 1000 个字符。目前只支持 MaxCompute | SET odps.sql.udf.timeout=600s; |
SamplingFilter | string | 采样时,对不关注的数据进行二次过滤的条件,最多 16777215 个字符 | id IS NULL |
CheckingConfig | object | 样本校验设置 | |
Type | string | 阈值计算方式
| Fixed |
ReferencedSamplesFilter | string | 有些类型的阈值需要查询出一些参考样本,然后对参考样本的值进行汇总得出进行比较的阈值,这里使用一个表达式来表示参考样本的查询方式 | { "bizdate": [ "-1", "-7", "-1m" ] } |
Thresholds | object | 阈值设置 | |
Expected | object | 期望的阈值设置 | |
Value | string | 阈值数值 | 100.0 |
Operator | string | 比较符
| > |
Warned | object | 普通警告的阈值设置 | |
Value | string | 阈值数值 | 100.0 |
Operator | string | 比较符
| > |
Critical | object | 严重警告的阈值设置 | |
Value | string | 阈值数值 | 100.0 |
Operator | string | 比较符
| > |
ErrorHandlers | array<object> | 质量规则校验问题处理器 | |
object | 质量规则校验问题处理器 | ||
Type | string | 处理器类型 | SaveErrorData |
ErrorDataFilter | string | 如果是自定义 SQL 规则,需要用户指定 SQL 来过滤问题数据 | SELECT * FROM tb_api_log WHERE id IS NULL |
Sample | string | 本次校验所使用的样本值 | [ { "gender": "male", "_count": 100 }, { "gender": "female", "_count": 100 } ] |
Details | array<object> | 本次校验的详情 | |
object | 校验详情 | ||
ReferencedValue | string | 使用引用的样本,用来参与 CheckedValue 计算的基准值 | 0.0 |
CheckedValue | string | 最终用来与阈值比较的值 | 100.0 |
Status | string | 最终的比较结果状态 | Passed |
文档内容是否对您有帮助?