创建数据加工规则后,日志服务会默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看数据加工任务运行的一些指标信息,也可以订阅仪表盘,对仪表盘中的指标设置告警通知。

查看仪表盘

创建加工任务后,您可以在加工任务概览页面查看该任务的仪表盘数据

  1. 登录日志服务控制台,单击Project名称。
  2. 单击页面左侧的数据加工图标,进入数据加工任务列表。
  3. 单击目标任务名称,在数据加工概览执行状态中查看仪表盘页面。

    查看仪表盘

总览指标

总览指标信息如下所示:
总览指标
  • 读日志数总计:从源Logstore各Shard读取到的日志条数总计。
  • 投递日志数总计:从源Logstore各Shard读取日志并成功投递到目标LogStore的日志条数总计。
  • 失败日志数总计:从源Logstore各Shard读取日志并在加工过程中发生失败的日志条数总计。
  • 投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。

加工速率指标

统计每分钟窗口内,数据加工处理的日志条数,包括四条指标。
加工速率指标
  • accept:从源Logstore读到的日志条数。
  • dropped:从源Logstore读到并按代码预期丢弃的日志条数。
  • delivered:从源Logstore读到并成功投递目标Logstore的日志条数。
  • failed:从源Logstore各Shard读取到日志并在加工过程中发生失败的日志条数。

消费延迟与速率指标

统计每分钟窗口内,加工任务读取源Logstore时每个Shard的指标。
消费延迟与速率指标
  • 消费延迟:当前时间,该Shard最近的已完成日志时间(日志写入日志服务时间)。
  • 消费速率:Shard在该分钟窗口内平均每秒钟读取到的日志条数。
说明 处理实时日志时消费延迟一般是1s左右。如果处理的是历史时间范围的日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

展示最近一段时间内发生的,Shard级别每秒处理的日志行数(accept、dropped、delivered、failed)。
活跃Shard指标

异常详情

您可以根据reason字段,查看可能导致出错的代码问题。
异常详情

您也可以深入到当前Project下的internal-etl-log,通过关键词ERROR或者WARNING查看完整的代码执行错误日志。