动态阈值检测

DataWorks数据质量提供动态阈值检测的能力,可以基于规则的校验历史,使用时序预测算法预测出本次指标值的上下界。

  • 当实际指标值位于上下界范围内时,则校验通过。

  • 当实际指标值高于上界或者低于下界,则校验不通过。

此时,无需手动设置阈值。

使用限制

  • 开启动态阈值的规则,必需在已有21次校验历史记录之后,才能开始正常预测,在此之前,校验状态均会显示校验异常

  • 最多使用最近60次校验记录作为参考值。

  • 如果历史校验记录产生的频率不一致,例如,一部分是每隔1个小时产生一次、另一部分是每隔7天产生一次、或者长短相互间隔,得到的预测效果可能不准确。

  • 校验状态只有passfail,不支持定义warn

配置方法

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
      "dataSource": {
        "name": "odps_first", 
        "envType": "Dev"
      }
    }
  ],
  "rules": [
    {
      // 在指标类型前添加 anomaly detection for,即可开启动态阈值
      "assertion": "anomaly detection for row_count"
    }
  ]
}