DataWorks数据质量提供动态阈值检测的能力,可以基于规则的校验历史,使用时序预测算法预测出本次指标值的上下界。
当实际指标值位于上下界范围内时,则校验通过。
当实际指标值高于上界或者低于下界,则校验不通过。
此时,无需手动设置阈值。
使用限制
开启动态阈值的规则,必需在已有21次校验历史记录之后,才能开始正常预测,在此之前,校验状态均会显示校验异常。
最多使用最近60次校验记录作为参考值。
如果历史校验记录产生的频率不一致,例如,一部分是每隔1个小时产生一次、另一部分是每隔7天产生一次、或者长短相互间隔,得到的预测效果可能不准确。
校验状态只有
pass
和fail
,不支持定义warn
。
配置方法
{
"datasets": [
{
"type": "Table",
"tables": [
"tb_d_spec_demo"
],
"filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
"dataSource": {
"name": "odps_first",
"envType": "Dev"
}
}
],
"rules": [
{
// 在指标类型前添加 anomaly detection for,即可开启动态阈值
"assertion": "anomaly detection for row_count"
}
]
}
该文章对您有帮助吗?