消费组监控与告警

在使用消费组进行数据消费时,日志服务不仅提供了监控功能,还内置了消费组延迟监控告警机制。您能够查看包括消费组列表、延迟情况及数据占比等在内的多种报表。同时,支持您自定义消费组延迟监控告警规则,一旦消费延迟超出设定阈值,系统将自动触发告警通知。

前提条件

已开通服务日志中的重要日志。具体操作,请参见开通服务日志

背景信息

一个消费组包含多个消费者,每个消费者消费Logstore中的一部分Shard。同一个消费组下面的消费者共同消费一个Logstore中的日志数据,消费者之间不会重复消费数据。

Shard数据模型可以简单理解为一个队列,新写入的数据被加到队尾,队列中的每条数据都会对应一个数据写入时间,下图是Shard的数据模型。

image

查看报表

消费组监控仪表盘用于展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。更多信息,请参见查看数据报表

功能入口

  1. 登录日志服务控制台
  2. 日志应用区域的云产品Lens页签中,单击CloudLens for SLS

  3. 在页面左上角,选择目标Project。

  4. 在左侧导航栏的报表中心区域,单击访问监控

  5. 单击消费组监控

    消费组监控仪表盘用于展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。

设置告警

消费组消费延迟告警中的基本概念:

  • 消费过程:消费者从队列头开始顺序读取数据的过程。

  • 消费进度:消费者当前读取的数据对应的写入时间。

  • 消费落后时长:当前消费进度和队列中最新的数据写入时间的差值,单位为秒。

消费组的消费落后时长取其包含的所有Shard的消费落后时长的最大值,当超过您预设的阈值时,则认定消费落后太多,触发报警。

功能入口

  1. 登录日志服务控制台
  2. 日志应用区域的云产品Lens页签中,单击CloudLens for SLS

  3. 在页面左上角,选择目标Project。

  4. 在左侧导航栏中,单击异常检测。在告警规则页签中,单击新建告警 > 从模板新建

  5. 从模板新建面板中,单击消费组延时监控,设置告警。告警参数说明,请参见创建日志告警监控规则

    image