采集Docker容器日志（标准输出/文件）

Project是阿里云日志服务中的资源管理单元，用于隔离和控制不同项目或应用的日志数据。一个Project可以包含多个Logstore。

Logstore是日志数据的存储单元，用于存储日志。在Project内，您可以根据业务需求创建多个Logstore存储不同类型的日志，如使用两个Logstore分别存储Nginx访问日志和应用错误日志。

容器内日志包含两种日志来源：

如果您使用的是阿里云服务器ECS，可以通过一键运行Terraform的方式，在现有的实例上快速安装Docker，或新建一个装有Docker的ECS实例。您也可以参考安装Docker，通过命令行手动安装。

• 新建实例：设置参数create = true，依次点击发起调试 > 预览并执行。

• 选择一个已有实例：设置参数create = false和instance_id，依次点击发起调试 > 预览并执行。

如果您暂无合适的业务容器，或希望先快速验证采集功能，可以使用以下Demo来快速部署一个可以持续产生日志的测试容器。

#!/bin/sh

# 定义日志文件在容器内的路径
LOG_FILE="/var/mylog/app.log"

# 创建日志文件所在的目录
mkdir -p /var/mylog


# 无限循环来持续生成日志
COUNT=0
while true; do
  TIMESTAMP=$(date '+%Y-%m-%d %H:%M:%S')
  
  # 1. 打印到标准输出 (stdout)
  echo "[$TIMESTAMP] [INFO] This is a standard output log. Entry #$COUNT."
  
  # 2. 写入到文本日志文件
  echo "[$TIMESTAMP] [DEBUG] This is a text file log entry. Entry #$COUNT." >> ${LOG_FILE}
  
  # 每5秒循环一次
  sleep 5
  COUNT=$((COUNT + 1))
done

FROM registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest

WORKDIR /var/mylog

COPY log_generator.sh .

RUN chmod +x log_generator.sh

CMD ["./log_generator.sh"]

请将log_generator.sh和Dockerfile放在同一目录下，并在该目录下执行如下命令，构建镜像并运行容器：

# 构建镜像
sudo docker build -t logging-test-app .

# 运行容器
sudo docker run -d --name my-logger logging-test-app

执行如下命令验证业务容器部署成功：

docker ps 

输出如下结果，表示业务容器正常运行。

CONTAINER ID   IMAGE                  COMMAND             CREATED         STATUS         PORTS     NAMES
5cdd61e5dc51  logging-test-app   "./log_generator.sh"   6 seconds ago  Up 6 seconds                my-logger

若您无可用Project，请参考此处步骤创建一个基础Project，如需详细了解创建配置请参见管理Project。

登录日志服务控制台，单击创建Project，完成下述基础配置，其他配置保持默认即可：

• 所属地域：请根据日志来源等信息选择合适的阿里云地域，创建后不可修改。

• Project名称：设置名称，名称在阿里云地域内全局唯一，创建后不可修改。

若您无可用Logstore，请参考此处步骤创建一个基础Logstore，如需详细了解创建配置请参见管理Logstore。

1. 拉取LoongCollector镜像：在宿主机上执行如下命令拉取LoongCollector镜像，请将${region_id}替换为日志服务Project所在地域的RegionID。

   # LoongCollector镜像地址
   docker pull aliyun-observability-release-registry.${region_id}.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun
   
   # Logtail镜像地址
   docker pull registry.${region_id}.aliyuncs.com/log-service/logtail:v2.1.11.0-aliyun

2. 启动LoongCollector：替换命令中的${region_id}、${aliyun_account_id}和${user_defined_id}并执行。

   • ${region_id}：根据日志服务Project所在地域，获取对应的RegionID并选择网络传输类型。

     • 示例：若Project位于华东1（杭州），则以阿里云内网访问时${region_id}为cn-hangzhou，公网访问时使用cn-hangzhou-internet。

   • ${aliyun_account_id}：日志服务所在的阿里云账号（主账号）ID。

   • ${user_defined_id}：设置机器组的用户自定义标识，例如user-defined-docker-1。该标识在Project所在地域内必须唯一。

   重要

   如果您要自定义配置LoongCollector（Logtail）容器的启动参数，需保证以下条件：

   • 启动时，必须配置3个环境变量ALIYUN_LOGTAIL_CONFIG，ALIYUN_LOGTAIL_USER_ID和ALIYUN_LOGTAIL_USER_DEFINED_ID。

   • 将宿主机上的/var/run目录挂载到LoongCollector（Logtail）容器的/var/run目录。

   • 将宿主机根目录挂载到LoongCollector（Logtail）容器的/logtail_host目录。

   docker run -d \
       -v /:/logtail_host:ro \
       -v /var/run/docker.sock:/var/run/docker.sock \
       --env ALIYUN_LOGTAIL_CONFIG=/etc/ilogtail/conf/${region_id}/ilogtail_config.json \
       --env ALIYUN_LOGTAIL_USER_ID=${aliyun_account_id} \
       --env ALIYUN_LOGTAIL_USER_DEFINED_ID=${user_defined_id} \
       aliyun-observability-release-registry.${region_id}.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun

3. 验证启动成功：执行如下命令查看正在运行的容器。

   docker ps | grep loongcollector

   输出如下结果，表示LoongCollector容器正常运行。

   6ad510001753   aliyun-observability-release-registry.cn-beijing.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun   "/usr/local/ilogtail…"   About a minute ago   Up About a minute             recursing_shirley

1. 登录日志服务控制台，在Project列表中单击管理日志资源的Project。

2. 在左侧导航栏中，选择资源 > 机器组，单击机器组右侧的 > 创建机器组。

3. 在创建机器组对话框中，配置如下参数，然后单击确定。

   1. 设置机器组名称。

   2. 机器组标识：选择用户自定义标识。

   3. 用户自定义标识：您在执行启动LoongCollector命令时配置环境变量${user_defined_id}的值。

4. 创建完成后，在机器组列表，单击新建的机器组，在机器组配置 > 机器组状态区域，查看心跳状态。如果心跳为OK则表示创建成功。若心跳失败，请根据心跳异常问题汇总排查。

这是容器标准输出采集的最基础场景：仅采集容器的标准输出（Stdout）和标准错误（Stderr）原始日志，不做任何解析处理，示例如下：

10.244.0.1 - - [01/Aug/2025:10:25:30 +0000] "GET / HTTP/1.1" 200 615 "-" "curl/7.88.1"

10.244.0.1 - - [01/Aug/2025:10:25:30 +0000] "GET / HTTP/1.1" 200 615 "-" "curl/7.88.1"

1. 在快速数据接入弹框中，在搜索框中按照Docker标准输出-新版进行关键字搜索，单击Docker标准输出-新版卡片的立即接入。

2. 在机器组配置页面，选择Docker场景。在源机器组列表中勾选您提前创建好的机器组并点击>添加到应用机器组中，单击下一步。

3. 在Logtail配置页面进行全局配置和输入配置，其他配置保持默认即可：

   • 全局配置：填写配置名称。

   • 输入配置：按需选择打开标准输出或标准错误开关（默认全部打开）。

4. （可选）如需对原始日志进行结构化解析，请参考解析配置添加处理插件；如需采集多行日志，对原始日志进行脱敏、过滤等处理时，请参考高级配置部分进行采集配置。

5. 在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引，通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

这是文本日志采集的最基础场景：采集Docker容器内原始日志文件内容，不进行任何解析，将原始日志整行上传至日志服务的content字段，示例如下：

Aug 19 11:20:51 hostname-1 crond[2995]: (CRON) INFO (@reboot jobs will be run at computer's startup.)

content: Aug 19 11:20:51 hostname-1 crond[2995]: (CRON) INFO (@reboot jobs will be run at computer's startup.)

1. 在快速数据接入弹框中，在搜索框中按照Docker文件-容器进行关键字搜索，单击Docker文件-容器卡片的立即接入。

2. 在机器组配置页面，选择Docker场景。在源机器组列表中勾选您提前创建好的机器组并点击>添加到应用机器组中，单击下一步。

3. 在Logtail配置页面进行全局配置和输入配置，其他配置保持默认即可：

   • 全局配置：填写配置名称。

   • 输入配置：确认输入配置中的文件路径类型，并填写文件路径，其余配置保持默认。

     • 文件路径类型：支持配置容器内路径和宿主机路径。

       • 容器内路径：采集容器内文本日志文件时，请选择容器内路径。

       • 宿主机路径：采集宿主机上的服务日志时，请选择宿主机路径。

     • 文件路径：日志采集的路径，必须为绝对路径，Linux下以“/”开头，如/data/mylogs/**/*.log，表示/data/mylogs目录下所有后缀名为.log的文件。

     • 最大目录监控深度：文件路径中通配符**匹配的最大目录深度。默认为0，表示只监控本层目录，取值范围是0~1000。

       说明

       建议您设置深度为0，配置路径到文件所在的目录。

4. （可选）如需对原始日志进行结构化解析，请参考解析配置添加处理插件；如需采集多行日志，对原始日志进行脱敏、过滤等处理时，请参考高级配置部分进行采集配置。

5. 在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引，通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：使用正则表达式(\S+)\s-\s(\S+)\s\[([^]]+)]\s"(\w+)\s(\S+)\s([^"]+)"\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+).*进行解析。

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

通过正则表达式提取日志字段，并将日志解析为键值对形式。在处理配置区域配置正则解析插件，进行如下配置，其余配置保持默认，完成后单击下一步：

• 添加日志样例：请务必使用实际场景中待采集日志的样例，配置日志样例可协助您配置日志处理相关参数，降低配置难度。

• 单击添加处理插件，选择正则解析：

  • 正则表达式：用于匹配日志，支持自动生成或手动输入的方式。

    • 如果提供了日志样例，可以通过单击自动生成正则表达式，在日志样例中划选需要提取的日志内容，单击生成正则，自动生成正则表达式。

      

    • 根据日志内容手动输入正则表达式，如果提供了日志样例，可以单击验证，测试正则表达式是否能够正确解析日志内容。

  • 日志提取字段：为提取的日志内容（Value），设置对应的字段名（Key）。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

通过分隔符将日志内容结构化，解析为多个键值对形式。在处理配置区域配置分隔符解析插件，进行如下配置，其余配置保持默认，完成后单击下一步：

• 单击添加处理插件，选择分隔符解析。

  • 分隔符：根据日志内容选择正确的分隔符。以CSV文件格式为例，单击下拉列表选择自定义，并输入半角逗号（,）。

  • 引用符：当日志字段内容中包含分隔符时，需要指定引用符进行包裹，被引用符包裹的内容会被解析为一个完整字段。

  • 日志提取字段：按分隔顺序为分隔后的值设置Key，Key只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头。最大长度为128字节。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

将Object类型的JSON日志结构化，解析为键值对形式。在处理配置区域配置JSON解析插件，进行如下配置，其余配置保持默认，完成后单击下一步：

• 单击添加处理插件，选择JSON解析：

  • 原始字段：解析日志前，用于存放日志内容的原始字段，默认值为content。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：原始日志如下，对原始字段进行JSON展开，并使用展开深度作为前缀。

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

通过指定展开深度，将嵌套的JSON日志解析为键值对形式。在处理配置区域配置展开JSON字段，进行如下配置，其余配置保持默认，完成后单击下一步：

• 单击添加处理插件，选择拓展处理插件 > 展开JSON字段。

  • 原始字段：需要展开的原始字段名。

  • JSON展开深度：默认值为0，表示展开到能解析成功的最深的地方；1表示当前层级，以此类推。

  • JSON展开连接符：JSON展开时字段名的连接符，默认值为下划线（_）。

  • JSON展开字段前缀：指定JSON展开后字段名的前缀。

  • 展开数组：指定是否展开数组类型的字段，如{"k":["1","2"]} 展开后会变为 {"k[0]":"1","k[1]":"2"}。

    若您想修改字段名，可以组合使用重命名字段插件，将展开后的字段名映射为新的字段名，从而满足日志处理和分析的需求。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

使用json_extract函数，从JSON数组中提取JSON对象。在处理配置区域进行如下配置，其余配置保持默认，完成后单击下一步：

• 处理模式：选择SPL。

• SPL语句：您可以使用json_extract函数，从JSON数组中提取JSON对象。更多json函数请参考JSON函数的基本语法及示例。

  • 示例：从日志字段 content 中提取 JSON 数组中的元素，并将结果分别存储在新字段 json1和 json2 中。

    * | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

根据log_format中的定义将日志内容结构化，解析为多个键值对形式。在处理配置区域配置Nginx解析插件，进行如下配置，其余配置保持默认，完成后单击下一步：

• 单击添加处理插件，选择NGINX模式解析。

  • 在NGINX日志配置中输入如下内容后单击确认。

    log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

    说明

    Nginx模式插件支持根据log_format中的定义将日志内容结构化，解析为多个键值对形式。如默认内容不符合您的需求，可使用自定义格式。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

示例：combined 格式日志解析结果如下

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

根据Apache日志配置文件中的定义将日志内容结构化，解析为多个键值对形式。在处理配置区域配置Apache模式解析插件，进行如下配置，其余配置保持默认，完成后单击下一步：

• 单击添加处理插件，选择APACHE模式解析，此处以combined日志格式为例。

  • 日志格式：combined

  • APACHE配置字段：当日志格式为combined时，此处会自动填充对应格式的配置字段，请确认是否和Apache配置文件中定义的格式一致。

在查询分析配置页面预览数据，单击自动生成索引，日志服务将生成字段索引。通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。完成后单击下一步结束配置。

日志服务默认为单行模式，按行进行日志的切分与存储，导致含堆栈信息的多行日志被逐行切分，每一行作为独立日志存储和展示，不利于分析。

针对上述问题，可通过开启多行模式来改变日志服务的切分方式，并通过配置正则表达式匹配日志起始行，从而将原始日志按照起始行规则进行切分和存储。示例如下：

原始日志：

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

单行模式与多行模式对比：

content:[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

在Logtail配置页面进行多行模式配置，配置完成后单击保存即可：

• 处理配置：开启多行模式。

• 类型：选择自定义或多行JSON。

  • 自定义：原始日志的格式不固定，需配置行首正则表达式，来标定每一条日志的起始行。

    • 行首正则表达式：支持自动生成或手动输入，正则表达式需要能够匹配完整的一行数据，如上述示例中匹配的正则表达式为\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*。

      • 单击自动生成正则表达式，然后在日志样例文本框中，划选需提取的日志内容，单击生成正则。

      • 单击手动输入正则表达式，输入正则表达式。配置完成后，单击验证。

  • 多行JSON：当原始日志均为标准JSON格式时选择，LoongCollector（Logtail）会自动处理单条JSON日志内部的换行。

• 切分失败处理方式：

  • 丢弃：直接丢弃这段日志。

  • 保留单行：将每行日志文本单独保留为一条日志。

在Logtail配置 > 输入配置区域进行如下配置：

采集文本文件日志：开启允许文件多次采集。默认一个日志文件只能匹配一个LoongCollector（Logtail）配置，开启后，同一个文件支持被多个LoongCollector（Logtail）配置采集。

采集容器标准输出：开启允许标准输出多次采集。默认情况下，一个容器的标准输出日志只能匹配一个Logtail新版标准输出采集配置，如果需要被多个新版标准输出采集配置采集，需打开此开关。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 全局配置 > 其他全局配置：配置日志主题类型。

  • 日志主题类型：选择日志主题（Topic）的生成方式。

    • 机器组Topic：日志服务支持将一个LoongCollector（Logtail）配置应用到多个机器组。使用机器组Topic可用于区分来自不同机器组的日志。LoongCollector（Logtail）上报数据时，会将服务器所在机器组的机器组Topic作为日志主题上传至Project。用户在查询日志时需要指定日志主题作为查询条件。

    • 文件路径提取：若不同的用户或应用将日志保存在不同的顶级目录中，但下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或应用产生的。此时文件路径提取方式可用于区分不同用户或应用产生的日志数据。通过正则表达式来完整匹配文件路径，并将表达式匹配的结果（用户名或应用名）作为日志主题（Topic）上传至日志服务。

      使用正则从文件路径中提取Topic

      说明

      文件路径的正则表达式中，需要对正斜线（/）进行转义。

      场景1：不同用户将日志记录在不同目录下，但是日志文件名称相同，目录路径如下所示。

      /data/logs
      ├── userA
      │   └── serviceA
      │       └── service.log
      ├── userB
      │   └── serviceA
      │       └── service.log
      └── userC
          └── serviceA
              └── service.log

      如果在Logtail配置中仅配置文件路径为/data/logs且文件名称为service.log，LoongCollector（Logtail）会将三个service.log文件中的内容采集至同一个Logstore中，因此无法区分日志具体由哪个用户产生。您可以使用正则表达式提取文件路径中的值，生成不同的日志主题。

      正则表达式	提取结果
      \/data\/logs\/(.*)\/serviceA\/.*	__topic__: userA __topic__: userB __topic__: userC

      场景2：如果单个日志主题不足以区分日志的来源，您可以在日志文件路径中配置多个正则捕获组来提取关键信息。其中捕获组包括命名捕获组（?P<name>）与非命名捕获组两类。

      • 如果使用命名捕获组，则生成的tag字段为__tag__:{name}；

      • 如果使用非命名捕获组，则生成的tag字段为__tag__:__topic_{i}__，其中{i}为捕获组的序号。

      说明

      当正则表达式中存在多个捕获组时，不会生成__topic__字段。

      例如，文件路径为/data/logs/userA/serviceA/service.log，您可以通过以下方式提取文件路径中的多个值：

      示例	正则表达式	提取结果
      使用非命名捕获组进行正则提取。	\/data\/logs\/(.*?)\/(.*?)\/service.log	__tag__:__topic_1__: userA __tag__:__topic_2__: serviceA
      使用命名捕获组进行正则提取。	\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log	__tag__:user: userA __tag__:service: serviceA

      验证：配置完成后，根据日志主题查询日志：在日志查询分析页面，输入对应生成的日志主题，例如__topic__: userA、__tag__:__topic_1__: userA查询相应主题的日志。更多信息，请参见查询语法与功能。

      

    • 自定义：输入customized:// + 自定义主题名，使用自定义的静态日志主题。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 输入配置：

  • 容器过滤：打开容器过滤开关，并单击添加，选择对应的过滤方式进行配置，多个条件之间为“且”的关系。

    • 环境变量黑/白名单：指定待采集容器的环境变量条件。

    • K8s Pod标签黑/白名单：指定待采集容器所在 pod 的标签条件。

    • K8s Pod 名称正则匹配：通过Pod名称指定待采集的容器

    • K8s Namespace 正则匹配：通过Namespace名称指定待采集的容器。

    • K8s 容器名称正则匹配：通过容器名称指定待采集的容器。

    • 容器label黑/白名单：采集容器标签符合条件的容器，docker场景使用，K8s场景不推荐使用。

  • 其他输入配置：在其他输入配置中打开采集黑名单开关，单击添加，选择对应的黑名单方式进行配置。

    支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

    • 文件路径黑名单：配置采集时需要忽略的文件路径，相关示例如下：

      • /home/admin/private*.log：在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。

      • /home/admin/private*/*_inner.log：在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。

    • 文件黑名单：配置采集时需要忽略的文件名，示例如下：

      • app_inner.log：在采集时忽略所有名为app_inner.log的文件。

    • 目录黑名单：目录路径不能以正斜线（/）结尾，以下为目录路径示例：

      • /home/admin/dir1/：目录黑名单不会生效。

      • /home/admin/dir*：在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

      • /home/admin/*/dir：在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 输入配置：

  • 日志标签富化：开启日志标签富化，在日志中额外添加与容器有关的tag。单击添加：

    • 环境变量相关：配置环境变量名和tag名，环境变量值将存放在tag名中。

      • 环境变量名：指定需要提取的环境变量名称。

      • tag名：为该环境变量定义的标签名称

    • Pod标签相关：配置Pod标签名和tag名，Pod标签值将存放在tag名中。

      • Pod标签名：指定需要提取的 Kubernetes Pod 标签名称。

      • tag名：为该标签定义的标签名称

示例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 脱敏处理，进行如下配置：

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 脱敏方式：支持const和md5

  • const：将敏感内容替换成您所修改的字符串。

  • md5：将敏感内容替换为其对应的MD5值。

• 替换字符串：选择脱敏方式为const时，需输入字符串，用于替换敏感内容。

• 被替换内容前的内容表达式：用于查找敏感内容，使用RE2语法配置。

• 被替换的内容表达式：敏感内容的表达式，使用RE2语法配置。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 原生插件：过滤处理，进行白名单配置：配置后只采集符合白名单条件的日志。

• 字段名：需要进行过滤的日志字段。

• 字段值：用于过滤的正则表达式，仅支持全文匹配，不支持关键词部分匹配。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 时间解析，进行如下配置：

时间解析插件通常与其他插件配合使用，将从原始日志中提取的表示时间的字段进行解析，并将解析结果写入 _time_ 字段。

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 时间格式：根据日志中的时间内容设置对应的时间格式。

• 时区：选择日志时间字段所在的时区。如果不选择，则默认使用机器时区，即使用Logtail进程所在环境的时区。

在Logtail配置页面进行如下配置：

• 输出配置：指定传输数据时的压缩方式。

  说明

  通过SDK配置Logtail时，如果未指定该字段，默认压缩方式与Logtail版本有关的：

  • Logtail 1.3.4及之前的版本，默认为lz4。

  • Logtail 1.3.4之后的版本，默认为zstd。

  通过SDK配置LoongCollector时，如果未指定该字段，默认压缩方式为zstd。

  • lz4：压缩速度快，压缩率较低。

  • zstd：压缩率高，速度略低，内存占用高。

问题描述：如果LoongCollector（Logtail）日志（/usr/local/ilogtail/ilogtail.LOG）中出现The parameter is invalid : uuid=none的错误日志。

解决方案：请在宿主机上创建一个product_uuid文件，在其中输入任意合法UUID（例如169E98C9-ABC0-4A92-B1D2-AA6239C0D261），并把该文件挂载到LoongCollector（Logtail）容器的/sys/class/dmi/id/product_uuid目录。