数据加工仪表盘

创建数据加工任务后,日志服务默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。

查看仪表盘

创建加工任务后,您可以在数据加工概览页面查看该任务的仪表盘。

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 在左侧导航栏中,选择任务管理 > 数据加工

  4. 单击目标数据加工任务,在执行状态区域,查看仪表盘信息。

总览指标

总览指标信息如下所示。总览指标

  • 读日志数总计:从源Logstore的各个shard中读取到的日志条数总计。

  • 投递日志数总计:从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。

  • 失败日志数总计:从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。

  • 投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。

加工速率

加工速率用于统计每分钟窗口内,数据加工处理的日志条数。加工速率指标

  • accept:从源Logstore的各个shard中读到的日志条数。

  • dropped:从源Logstore的各个shard中读到并按规则脚本预期丢弃的日志条数。

  • delivered:从源Logstore的各个shard中读到并成功写入到目标Logstore的日志条数。

  • failed:从源Logstore的各个shard中读取到日志并在加工过程中发生失败的日志条数。

shard消费延迟、shard消费速率

统计每分钟窗口内,加工任务读取源Logstore数据时,每个shard的指标。消费延迟与速率指标

  • 消费延迟:该shard中的日志被完全消费的时间与该shard最新日志产生的时间之差。两个时间,都是按shard数据到达服务端时间(server receive time)开始计算的。

  • 消费速率:shard在一分钟窗口内平均每秒钟读取到的日志条数。

说明

处理实时日志时消费延迟一般是1s左右。如果处理的是历史日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃shard

展示最近一段时间内发生,shard每秒处理的日志行数(accept、dropped、delivered、failed)。活跃Shard指标

异常详情

您可以根据reason字段,查看可能导致出错的规则脚本。异常详情

您也可以在当前Project下的internal-etl-log日志库中,通过关键词ERROR或WARNING查看完整的错误日志。