目的

统计业务日志中关键字的数量,并在统计数量达到一定条件时报警是业务日志的常见需求之一。本教程的目的是通过一个具体案例介绍如何对存储在日志服务产品中的数据进行关键字统计和报警。参照本教程的介绍,您可以快速走通日志的关键字统计、查询图表可视化和设置报警流程。

实战案例

  • 使用前提
    1. 首先需要您将本地日志收集到日志服务(Log Service)中,如果您未使用过阿里云日志服务产品,可查看日志服务快速入门了解产品。
    2. 需要确保主账号的AccessKey是激活状态。AccessKey保持激活状态后您才能授权云监控读取您的日志数据。

      激活方法:登录阿里云控制台,将鼠标移至页面右上角您的用户名上方,在显示的菜单中单击 AccessKeys。在弹出的确认对话框中单击继续使用AccessKey以进入 AccessKey管理页面 。创建密钥对(Access Key),确认状态已设置为启用



  • 统计日志关键字

    在使用日志监控前,需要您确保收集到日志服务中的日志已经被切分为Key-Valve格式。参考常见日志格式的处理方法。

    日志样例
    2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
    2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
    2017-06-21 14:38:05 [INFO] [impl.ShopServiceImpl] execute_fail and run time is 100ms,reason:user_id invalid
    2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_success, wait moment ,reason:user_id invalid
    2017-06-21 14:38:05 [WARN] [impl.UserServiceImpl] execute_fail and run time is 100msuserid=
    2017-06-21 14:38:06 [WARN] [impl.FavServiceImpl] execute_fail, wait moment userid=
    2017-06-21 14:38:06 [ERROR] [impl.UserServiceImpl] userid=, action=, test=, wait moment ,reason:user_id invalid

切分成如下字段

Key Value
content 2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
content 2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
content 2017-06-21 14:38:06 [ERROR] [impl.ShopServiceImpl] execute_success:send msg,200ms
content … …
  1. 授权云监控只读权限
    1. 进入云监控首页,选择日志监控功能。

    2. 按照页面提示,点击这里进行授权。初次使用日志监控功能时需要授权,后续不再需要授权。授权后云监控会获得读取您日志数据的权限,并且仅用于按照您配置的处理规则进行日志数据处理的用途。

  2. 配置统计方式
    1. 授权后可进入如下日志监控列表页面。

    2. 点击新建日志监控,进入创建页面。
    3. 关联资源,选择您需要进行关键字统计的日志服务资源。

    4. 预览数据:如果您选择的日志服务中已经写入数据,可以在第二步分析日志的预览框中查看到原始的日志数据。
    5. 分析日志,本步骤用于定义如何处理日志数据。不支持日志的字段名称为中文。这里以统计ERROR关键字数量为例,统计日志每分钟出现的ERROR关键字数量。通过日志筛选过滤出content中包含ERROR关键字的日志记录,并通过统计方法中的计数(Count)方法计算筛选后的记录数。

    6. 点击确定,保存配置。
  3. 查看统计数据

    创建完日志监控以后,等待3-5分钟即可查看统计数据。查看方法是进入日志监控的指标列表页面,点击“操作”中的“监控图表”查看监控图。



  4. 设置报警规则
    1. 进入日志监控的指标列表页面,点击操作中的报警规则,进入报警规则列表页面。

    2. 点击页面右上角的新建报警规则按钮,进入创建报警规则页面。
    3. 为报警规则命名,并在规则描述中配置需要报警的情况。

    4. 选择需要报警的联系人组通知方式并确认保存,便完成了报警规则的设置。