DataWorks数据质量提供动态阈值检测的能力,可以基于规则的校验历史,使用时序预测算法预测出本次指标值的上下界。
当实际指标值位于上下界范围内时,则校验通过。
当实际指标值高于上界或者低于下界,则校验不通过。
此时,无需手动设置阈值。
使用限制
开启动态阈值的规则,必须在已有21次校验历史记录之后,才能开始正常预测,在此之前,校验状态均会显示校验异常。
最多使用最近60次校验记录作为参考值。
如果历史校验记录产生的频率不一致,例如,一部分是每隔1个小时产生一次、另一部分是每隔7天产生一次、或者长短相互间隔,得到的预测效果可能不准确。
校验状态只有
pass和fail,不支持定义warn。
配置方法
datasets:
- type: Table
tables:
- tb_d_spec_demo
filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
dataSource:
name: odps_first
envType: Dev
rules:
- # 在指标类型前添加 anomaly detection for,即可开启动态阈值
assertion: anomaly detection for row_count该文章对您有帮助吗?