文档

通过SQL聚合指标数据进行智能巡检

更新时间:

智能巡检功能用于对业务日志进行自动化、智能化、自适应的异常巡检。本文介绍通过SQL聚合指标数据进行智能巡检的操作步骤。

前提条件

  • 已采集日志到源Logstore。具体操作,请参见数据采集概述

  • 已配置源Logstore的索引。具体操作,请参见创建索引

  • 已创建智能异常分析实例。具体操作,请参见创建实例

重要

本文中所涉及的Logstore为Standard Logstore。更多信息,请参见管理Logstore

步骤一:创建作业

  1. 登录日志服务控制台

  2. 进入创建作业页面。

    1. 日志应用区域,单击智能异常分析

    2. 在实例列表中,单击目标实例。

    3. 在左侧导航栏中,单击智能巡检

    4. 单击实时检测

    5. 巡检任务区域,单击立即创建

  3. 创建智能巡检作业配置向导的基本信息区域,完成如下配置,然后单击下一步

    参数

    说明

    任务名

    自定义设置智能巡检作业的名称。

    Project

    选择源日志库或时序库所在的Project。

    地域

    您所选择的Project的所在地域。

    日志库类型

    根据您数据存储的位置选择日志库类型。

    • 如果您的数据存储在日志库中,则选中日志库

    • 如果您的数据存储在时序库中,则选中时序库

    源日志库

    日志库类型设置为日志库时,需设置源日志库,设置为您的源数据所在的日志库。

    时序库

    日志库类型设置为时序库时,需设置时序库,设置为您的源数据所在的时序库。

    角色

    如果您在创建实例时已完成了授权,则此处自动显示AliyunLogETLRole角色的角色标识。

    目标库

    目标日志库,固定为internal-ml-log。

  4. 数据特征配置区域的数据类型中,选择通过SQL格式化数据,输入查询和分析语句,然后完成以下配置。

    查询和分析语句示例如下所示。更多信息,请参见查询概述分析概述

    * | select __time__ - __time__ % 60 as time, eip, avg(inpps) as inpps, avg(outpps) as outpps from log group by time, eip order by time limit 10000

    数据特征

    参数

    说明

    时间

    源数据中用于标识时间列的字段。日志服务默认使用Logstore中的__time__字段。

    粒度

    数据的观测间隔。单位为秒。取值范围为5~3600。

    实体

    源数据中用于标识具体实体的字段。智能巡检作业围绕实体标识,聚合出时间序列。

    特征

    源数据中用于标识具体特征数据的字段。如果您不确定特征项的取值范围,可以不设置特征数据的最大值和最小值。更多信息,请参见如何设置数据特征中的最小值和最大值

  5. 创建智能巡检作业配置向导的算法配置区域,完成以下操作。

    1. 算法配置区域,完成以下配置,然后在数据采样中,选择一个实体,单击预览采样数据,验证您所配置的参数与您的数据是否适配,以及执行结果是否符合您的预期。

      算法选择

      参数

      说明

      算法选择

      异常检测算法。默认为流式图算法。更多信息,请参见算法说明

      时序分段个数

      对时序数值进行划分,用于离散化时间序列,构造时序演化图,降低噪音的影响。

      • 默认值为8。

      • 建议值范围为[5,20]。

      • 分段越少,对噪音越不敏感。

      观测长度

      所需观测的历史数据点个数。

      • 默认值为2880。

      • 建议值范围为[200,4000]。

      • 建议取值涵盖2个周期。例如,某个时间序列的观测点时间间隔为1分钟、周期为1天,则该时间序列2个周期有2880个观测点,建议观测长度的取值大于等于2880。

      敏感度

      异常分数输出的敏感度。

      • 异常分数大于0.5表示异常,异常分数大于0.75则触发告警。

      • 敏感度设置越高,模型量化每个异常点的分数越高。

    2. 调度配置区域,完成如下配置。

      参数

      说明

      开始时间

      设置调度开始的时间。

      说明

      智能巡检作业默认从设置的位置开始一直往后执行。

      数据延时时长

      设置调度时间点往后延迟执行的时间。取整范围:0~120,单位:秒。

      当数据写入Logstore、Metricstore存在延迟时,可通过延迟执行来保证数据的完整性。

    3. 单击下一步

  6. 创建智能巡检作业配置向导的告警配置区域,完成以下配置,然后单击完成

    参数

    说明

    告警策略

    告警策略用于合并、静默和抑制已产生的告警。

    • 选择极简模式普通模式时,您无需配置告警策略。日志服务默认使用SLS内置动态告警策略(sls.builtin.dynamic)进行告警管理。

    • 选择高级模式时,您可以选择内置的或自定义的告警策略进行告警管理。如何创建告警策略,请参见创建告警策略

    行动策略

    行动策略用于控制告警通知渠道和频率等。

    • 告警策略选择为极简模式时,您只需配置行动组即可。

      您配置行动组后,日志服务自动为您创建一个名为规则名称-行动策略的行动策略。由该告警监控规则触发的所有告警都通过该行动策略发送通知。如何配置,请参见通知渠道说明

      重要

      您可以在行动策略管理页面,修改该行动策略。具体操作,请参见创建行动策略。如果您在修改行动策略时添加了判断条件,则此处的告警策略将自动变更为普通模式

    • 告警策略选择为普通模式高级模式时,您可以选择内置的或自定义的行动策略进行告警通知。如何创建行动策略,请参见创建行动策略

      其中,您选择告警策略选择为高级模式时,还可以开启或关闭自定义行动策略。更多信息,请参见动态行动策略机制

巡检结果

创建智能巡检作业后,您可以在作业列表中,单击目标作业,查看巡检作业详情。

巡检结果

相关操作

创建智能巡检作业后,您可以在智能巡检页面中,找到目标作业进行修改或删除操作。

重要

智能巡检作业被删除后,不可恢复,请您谨慎操作。

后续步骤

告警与打标反馈

  • 本页导读 (1)
文档反馈