在使用消费组进行数据消费时,日志服务不仅提供了监控功能,还内置了消费组延迟监控告警机制。您能够查看包括消费组列表、延迟情况及数据占比等在内的多种报表。同时,支持您自定义消费组延迟监控告警规则,一旦消费延迟超出设定阈值,系统将自动触发告警通知。
前提条件
已开通服务日志中的重要日志。具体操作,请参见开通服务日志。
背景信息
一个消费组包含多个消费者,每个消费者消费Logstore中的一部分Shard。同一个消费组下面的消费者共同消费一个Logstore中的日志数据,消费者之间不会重复消费数据。
Shard数据模型可以简单理解为一个队列,新写入的数据被加到队尾,队列中的每条数据都会对应一个数据写入时间,下图是Shard的数据模型。
查看报表
消费组监控仪表盘用于展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。更多信息,请参见查看数据报表。
功能入口
- 登录日志服务控制台。
在日志应用区域的云产品Lens页签中,单击CloudLens for SLS。
在页面左上角,选择目标Project。
在左侧导航栏的报表中心区域,单击访问监控。
单击消费组监控。
消费组监控仪表盘用于展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。
设置告警
消费组消费延迟告警中的基本概念:
消费过程:消费者从队列头开始顺序读取数据的过程。
消费进度:消费者当前读取的数据对应的写入时间。
消费落后时长:当前消费进度和队列中最新的数据写入时间的差值,单位为秒。
消费组的消费落后时长取其包含的所有Shard的消费落后时长的最大值,当超过您预设的阈值时,则认定消费落后太多,触发报警。
功能入口
- 登录日志服务控制台。
在日志应用区域的云产品Lens页签中,单击CloudLens for SLS。
在页面左上角,选择目标Project。
在左侧导航栏中,单击异常检测。在告警规则页签中,单击
。在从模板新建面板中,单击消费组延时监控,设置告警。告警参数说明,请参见创建日志告警监控规则。