日志功能配置及查询

更新时间: 2022-11-23 10:26:50

ADP-Local上配置日志功能的步骤。

日志功能配置

以下为在ADP- Local上进行白屏配置日志功能的步骤:

1. 创建日志采集

日志采集页面路径:

产品管理-(产品选择)-产品组件-(组件选择)-组件日志-日志采集;

已默认为每个组件内置了采集Pod的标准输出。

1

2. 添加日志采集器

选择组件中需要进行日志采集的工作负载,以及日志采集类型。日志类型分为两种:标准输出/日志文件

  • 标准输出:指定采集的容器名称

  • 日志文件:指定采集的日志路径

11

3. 日志字段提取

字段提取的功能可以对特定的日志片段关键词打上标签,这个标签可被用于

  • 在查询时进行精确过滤

  • 转化为监控指标

选择日志采集,点击进入字段提取。

1

“加载运行日志”,在日志样例框中加载出实时运行日志。

1

在下方表达式框中输入字段提取表达式,目前支持正则表达式的形式,如上图的日志为:

level=info ts=2022-05-10T08:16:57.403Z caller=custom_mysql_user_connections.go:82 scraper=custom.info_schema.processlist msg="custom user connections collect end."

对应的样例正则表达式:

level=(?P<level>.+) ts=(?P<ts>.+) caller=(?P<caller>.+) scraper=(?P<scraper>.+) msg=(?P<msg>.+)

这里的正则表达式需要使用"(?'name'ABC) (?P<name>ABC) (?<name>ABC)"的格式标记"named capturing group"。

正则表达式可以在站点https://regexr.com/进行调试,注意右上角Regex Engine选择'PCRE'。

1

若调试成功,在Tools预览界面可以看到日志被分隔为多个键值对。

在日志采集界面点击“加载字段”使用此正则表达式对日志进行解析,下方出现的列表中可以看到多个键值对,在这里可以对各字段进行名称标注,按需进行“打标”标记(用于查询过滤或监控指标)。

1

什么字段适合打标?

一种是枚举字段,如logLevel这样一般只有几种可枚举情况的

一种是浮点数据,如API耗时,可在后期用于计算avg,p99

类似message这样每次内容都不一样,也无法用于后期统计的,不建议进行打标操作

日志查询筛选

页面路径:

产品管理-产品组件-组件选择-组件日志-日志查询;

集群管理-集群组件-组件选择-组件日志-日志查询;

1. 配置日志查询筛选条件

筛选条件包括:

  • 时间:即筛选何时产生的日志。如过去5分钟内,或者过去3小时内产生的日志等。

  • 日志名称:对日志采集器进行选择。

  • 关键字:即筛选日志数据包括的关键字。

  • 字段筛选:被筛选的字段来源于日志采集中的字段提取。

1

2. 使用打标字段进阶查询

1

完成打标后,在日志查询页面可以看到打标的字段可被用于筛选。

系统提供了多种判断操作符可用于不同条件的筛选,其中操作符"=~"为匹配正则表达式,操作符"!~"为不匹配正则表达式。

1

如图过滤 "caller = custom_mysql_user_connections.go:82",点击查询后,日志就只展示了特定的结果

3. 日志展示

对于用户自定义的筛选条件所筛选出来的日志,以图表形式展示其信息。包括:

  • 日志增量panel:展示过去的一段时间内,日志每分钟新增的数量。

1
  • 日志详情panel:对于筛选出的日志,展示日志完整信息。默认按照时间倒序排列。每条日志前的红色(error),黄色(warning),绿色(info),灰色(unknown) 展示了该日志的告警级别。

1

上一篇: 组件监控告警说明 下一篇: 组件诊断
阿里云首页 云原生应用交付平台 相关技术圈