日志服务提供智能巡检功能,用于对监控指标或业务日志等数据进行全自动、智能化、自适应的异常巡检。目前智能巡检使用流式图算法、流式分解算法进行数据巡检。本文介绍流式图算法、流式分解算法的适用场景、参数配置、预览说明等内容。

流式图算法

流式图算法基于Time2Graph系列模型中的原理进行研发,可对数据进行整体降噪,分析异常数据相对整体的偏移状态。流式图算法适用于对规模大、噪音多、周期不明显的时间序列进行异常检测。更多信息,请参见Time-Series Event Prediction with Evolutionary State Graph

场景说明

流式图算法采用在线机器学习技术,对每条数据进行实时学习、推断,适用于一般性时间序列的异常检测场景,包括:
  • 机器级别的监控指标的异常巡检,例如CPU占用率、内存利用率、硬盘读写速率等。
  • 业务指标的异常巡检,例如QPS、流量、成功率、延时等。
  • 黄金指标的异常巡检。

参数配置

您可以在创建智能巡检作业配置向导页面的算法配置区域,完成算法配置。具体操作,请参见通过消费组拉取指标数据进行智能巡检通过SQL聚合指标数据进行智能巡检

流式图算法

各个参数说明如下表所示。

参数 说明
时序分段个数 对时序数值进行划分,用于离散化时间序列,构造时序演化图,降低噪音的影响。建议预览不同时序分段个数下的巡检效果,选择最合适的值。
  • 默认值为8。
  • 建议值范围为[5,20]。
  • 分段越少,降噪力度越大,越容易漏报不明显的异常值。
  • 分段越多,降噪力度越小,捕捉的异常点越多。
观测长度 所需观测的历史数据点个数。
  • 建议值范围为[200,4000]。
  • 观测长度越长,用于分析的历史数据越多,异常判断越精确,检测成本越高。
  • 观测长度越短,用于分析的历史数据越少,异常判断受噪音影响越大,检测成本越低。
敏感度 异常分数输出的敏感度。
  • 可选值为低、中、高。
  • 敏感度设置越高,模型量化每个异常点的分数越高。
  • 异常分数大于0.5表示异常,异常分数大于0.75则触发告警。

预览说明

预览示例如下图所示。

流式图算法

流式分解算法

流式分解算法基于RobustSTL系列模型中的原理进行研发,可对数据流进行批处理但计算成本更高,适合小规模业务指标数据的精确巡检。大规模数据场景下,建议您拆分数据或使用流式图算法。更多信息,请参见RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series

场景说明

流式分解算法适用于对具有周期性的数据序列进行巡检,且要求数据的周期性较为明显。例如适用于具有明显周期变化的业务指标巡检的场景。
说明 周期性数据在日常生活中比较常见,例如游戏的访问量、客户的订单量。

参数配置

您可以在创建智能巡检作业配置向导页面的算法配置区域,完成算法配置。具体操作,请参见通过消费组拉取指标数据进行智能巡检通过SQL聚合指标数据进行智能巡检

流式分解算法

各个参数说明如下表所示。

参数 描述
周期长度 以点为单位描述数据序列在一个周期内包含的数据点数。数据序列默认以天为周期。例如粒度是120秒,周期为天,那么一个周期内包含的数据点数量为24×60×60/120=720个。
注意 周期长度一定是时间序列的周期,否则会影响巡检效果。
敏感度 异常分数输出的敏感度。
  • 可选值为低、中、高。
  • 敏感度设置越高,模型量化每个异常点的分数越高。
  • 异常分数大于0.5表示异常,异常分数大于0.75则触发告警。

预览说明

预览流式分解算法的异常检测结果时,系统默认选择最近4个周期的数据进行预览。预览示例如下图所示。

流式分解算法
对于噪声较大的周期性数据,您需要在预览页面不断调试,直到配置了准确的周期长度。在噪声较大的情况下,由于噪声的干扰,可能会出现漏报或者错报的情况。预览示例如下图所示。流式分解算法