本文档旨在通过一个具体案例介绍如何对存储在日志服务产品中的数据进行关键字统计和设置报警规则。

背景信息

统计业务日志中关键字的数量,并在统计数量达到一定条件时报警是业务日志的常见需求之一。通过本文档介绍的实战案例,您可以快速掌握日志的关键字统计、查询图表可视化和设置报警流程。

日志关键字的监控与报警使用前提

您需要将本地日志收集到日志服务(Log Service)中,如果您未使用过阿里云日志服务产品,可查看 日志服务 快速入门了解产品。

在使用日志监控前,您需要确保收集到日志服务中的日志已经被切分为Key-Valve格式。可参考常见日志格式的处理方法。

日志样例如下:

2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
2017-06-21 14:38:05 [INFO] [impl.ShopServiceImpl] execute_fail and run time is 100ms,reason:user_id invalid
2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_success, wait moment ,reason:user_id invalid
2017-06-21 14:38:05 [WARN] [impl.UserServiceImpl] execute_fail and run time is 100msuserid=
2017-06-21 14:38:06 [WARN] [impl.FavServiceImpl] execute_fail, wait moment userid=
2017-06-21 14:38:06 [ERROR] [impl.UserServiceImpl] userid=, action=, test=, wait moment ,reason:user_id invalid

收集到日志服务中的日志被切分成如下字段:

Key Value
content 2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
content 2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
content 2017-06-21 14:38:06 [ERROR] [impl.ShopServiceImpl] execute_success:send msg,200ms
content … …

日志关键字的监控与报警实施步骤

  1. 授权云监控只读权限。
    1. 登录云监控控制台
    2. 单击左侧导航栏中的日志监控,进入日志监控页面。

    3. 按照页面提示,单击这里进行授权。首次使用日志监控功能时需要进行授权,授权后云监控会获得读取您日志数据的权限,并且仅用于按照您配置的处理规则进行日志数据处理的用途。

  2. 配置统计方式 。
    1. 进行授权后,您可进入日志监控列表页面。

    2. 单击右上角的新建日志监控按钮,进入新建日志监控页面。
    3. 关联资源:选择您需要进行关键字统计的日志服务资源。

    4. 分析日志:本步骤用于定义如何处理日志数据。日志的字段名称不支持中文。这里以统计 ERROR 关键字数量为例,统计日志每分钟出现的ERROR关键字数量。通过日志筛选过滤出content中包含 ERROR 关键字的日志记录,并通过统计方法中的计数(Count)方法计算筛选后的记录数。

    5. (可选)预览数据:如果您选择的日志服务中已经写入数据,可以在第2步分析日志中,单击预览按钮查看到原始的日志数据。
    6. (可选)快速发布到DashBoard:选择要发布到的Dashboard。
    7. 单击确认,保存配置。
  3. 查看统计数据。

    创建完日志监控以后,等待3-5分钟即可查看统计数据。

    1. 进入日志监控列表页面。
    2. 单击操作中的监控图表,即可查看统计数据。

  4. 设置报警规则。
    1. 进入日志监控列表页面,单击操作中的报警规则,进入报警规则列表页面。

    2. 单击页面右上角的新建报警规则按钮,进入创建报警规则页面。

    3. 输入报警规则名称,并在报警配置中配置规则描述通知方式,然后单击确定按钮,即可完成报警规则的设置。