动态阈值检测

DataWorks数据质量提供动态阈值检测的能力,可以基于规则的校验历史,使用时序预测算法预测出本次指标值的上下界。

  • 当实际指标值位于上下界范围内时,则校验通过。

  • 当实际指标值高于上界或者低于下界,则校验不通过。

此时,无需手动设置阈值。

使用限制

  • 开启动态阈值的规则,必须在已有21次校验历史记录之后,才能开始正常预测,在此之前,校验状态均会显示校验异常

  • 最多使用最近60次校验记录作为参考值。

  • 如果历史校验记录产生的频率不一致,例如,一部分是每隔1个小时产生一次、另一部分是每隔7天产生一次、或者长短相互间隔,得到的预测效果可能不准确。

  • 校验状态只有passfail,不支持定义warn

配置方法

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
    dataSource:
      name: odps_first
      envType: Dev

rules:
  - # 在指标类型前添加 anomaly detection for,即可开启动态阈值
    assertion: anomaly detection for row_count