日志功能配置及查询

1. 创建日志采集

日志采集页面路径：

产品管理-（产品选择）-产品组件-（组件选择）-组件日志-日志采集；

已默认为每个组件内置了采集Pod的标准输出。

2. 添加日志采集器

选择组件中需要进行日志采集的工作负载，以及日志采集类型。日志类型分为两种：标准输出/日志文件

• 标准输出：指定采集的容器名称

• 日志文件：指定采集的日志路径

3. 日志字段提取

字段提取的功能可以对特定的日志片段关键词打上标签，这个标签可被用于

• 在查询时进行精确过滤

• 转化为监控指标

选择日志采集，点击进入字段提取。

“加载运行日志”，在日志样例框中加载出实时运行日志。

在下方表达式框中输入字段提取表达式，目前支持正则表达式的形式，如上图的日志为：

level=info ts=2022-05-10T08:16:57.403Z caller=custom_mysql_user_connections.go:82 scraper=custom.info_schema.processlist msg="custom user connections collect end."

对应的样例正则表达式：

level=(?P<level>.+) ts=(?P<ts>.+) caller=(?P<caller>.+) scraper=(?P<scraper>.+) msg=(?P<msg>.+)

这里的正则表达式需要使用"(?'name'ABC) (?P<name>ABC) (?<name>ABC)"的格式标记"named capturing group"。

正则表达式可以在站点https://regexr.com/进行调试，注意右上角Regex Engine选择'PCRE'。

若调试成功，在Tools预览界面可以看到日志被分隔为多个键值对。

在日志采集界面点击“加载字段”使用此正则表达式对日志进行解析，下方出现的列表中可以看到多个键值对，在这里可以对各字段进行名称标注，按需进行“打标”标记（用于查询过滤或监控指标）。

什么字段适合打标？

一种是枚举字段，如logLevel这样一般只有几种可枚举情况的

一种是浮点数据，如API耗时，可在后期用于计算avg，p99

类似message这样每次内容都不一样，也无法用于后期统计的，不建议进行打标操作

1. 配置日志查询筛选条件

筛选条件包括：

• 时间：即筛选何时产生的日志。如过去5分钟内，或者过去3小时内产生的日志等。

• 日志名称：对日志采集器进行选择。

• 关键字：即筛选日志数据包括的关键字。

• 字段筛选：被筛选的字段来源于日志采集中的字段提取。

2. 使用打标字段进阶查询

完成打标后，在日志查询页面可以看到打标的字段可被用于筛选。

系统提供了多种判断操作符可用于不同条件的筛选，其中操作符"=~"为匹配正则表达式，操作符"!~"为不匹配正则表达式。

如图过滤 "caller = custom_mysql_user_connections.go:82"，点击查询后，日志就只展示了特定的结果

3. 日志展示

对于用户自定义的筛选条件所筛选出来的日志，以图表形式展示其信息。包括：

• 日志增量panel：展示过去的一段时间内，日志每分钟新增的数量。

• 日志详情panel：对于筛选出的日志，展示日志完整信息。默认按照时间倒序排列。每条日志前的红色(error)，黄色(warning)，绿色(info)，灰色(unknown) 展示了该日志的告警级别。