通过控制台采集集群容器日志（标准输出/文件）

1. 添加日志样例：使用实际场景中待采集日志的样例。配置日志样例可协助配置日志处理相关参数，降低配置难度。

2. 单击添加处理插件，选择原生处理插件 > 正则解析：

   • 正则表达式：用于匹配日志，支持自动生成或手动输入：

     • 自动生成：

       • 单击自动生成正则表达式。

       • 在日志样例中划选需要提取的日志内容。

       • 单击生成正则。

         

     • 手动输入：根据日志格式手动输入正则表达式。

     配置完成后，单击验证，测试正则表达式是否能够正确解析日志内容。

   • 日志提取字段：为提取的日志内容（Value），设置对应的字段名（Key）。

原始日志：

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

自定义正则解析：正则表达式(\S+)\s-\s(\S+)\s\[([^]]+)]\s"(\w+)\s(\S+)\s([^"]+)"\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+).*。

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

单击添加处理插件，选择原生处理分隔符解析：

• 分隔符：指定用于切分日志内容的字符。

  示例：对于CSV格式文件，选择自定义，输入半角逗号（,）。

• 引用符：当某个字段值中包含分隔符时，需要指定引用符包裹该字段，避免错误切割。

• 日志提取字段：按分隔顺序依次为每一列设置对应的字段名称（Key）。规则要求如下：

  • 字段名只能包含：字母、数字、下划线（_）。

  • 必须以字母或下划线（_）开头。

  • 最大长度：128字节。

原始日志：

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

按指定字符,切割字段：

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

单击添加处理插件，选择原生处理插件 > JSON解析：

• 原始字段：默认值为content（此字段用于存放待解析的原始日志内容）。

• 其余配置保持默认。

原始日志：

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

标准JSON键值自动提取：

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

单击添加处理插件，选择拓展处理插件 > 展开JSON字段：

• 原始字段：需要展开的原始字段名，例如content。

• JSON展开深度：JSON对象的展开层级。0表示完全展开（默认值），1表示当前层级，以此类推。

• JSON展开连接符：JSON展开时字段名的连接符，默认为下划线 _。

• JSON展开字段前缀：指定JSON展开后字段名的前缀。

• 展开数组：开启此项可将数组展开为带索引的键值对。

  示例：{"k":["a","b"]} 展开为  {"k[0]":"a","k[1]":"b"}。

  如果需要对展开后的字段进行重命名（例如，将 prefix_s_key_k1 改为 new_field_name），可以后续再添加一个重命名字段插件来完成映射。

原始日志：

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

展开深度：0，并使用展开深度作为前缀。

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

展开深度：1，并使用展开深度作为前缀。

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

将处理模式切换为SPL：

• SPL语句：使用  json_extract函数从JSON数组中提取JSON对象。

  示例：从日志字段 content 中提取 JSON 数组中的元素，并将结果分别存储在新字段 json1和 json2 中。

  * | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

原始日志：

[{"key1":"value1"},{"key2":"value2"}]

提取JSON数组结构：

json1:{"key1":"value1"}
json2:{"key2":"value2"}

单击添加处理插件，选择原生处理插件 > NGINX模式解析：

• NGINX日志配置：请将 Nginx 服务器配置文件（通常位于 /etc/nginx/nginx.conf）中的 log_format 定义完整地复制并粘贴到此文本框中。

  示例：

  log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

  重要

  此处的格式定义必须与服务器上生成日志的格式完全一致，否则将导致日志解析失败。

原始日志：

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

根据log_format main的定义解析为键值对：

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

单击添加处理插件，选择原生处理插件 > APACHE模式解析：

• 日志格式：combined

• APACHE配置字段：系统会根据日志格式自动填充配置。

  重要

  请务必核对自动填充的内容，确保与服务器上 Apache 配置文件（通常位于/etc/apache2/apache2.conf）中定义的 LogFormat 完全一致。

原始日志：

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

Apache通用日志格式combined解析：

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]