如何排查容器日志采集异常

Docker/LoongCollector 部署后无心跳（AliUID 配置缺失）

在 Docker 模式下部署 LoongCollector/Logtail 后，如果机器组心跳状态持续异常（无法注册），通常是由于用户标识（AliUID）配置缺失。LoongCollector/Logtail 容器需要读取阿里云账号 ID 信息才能向 SLS 注册机器组，未挂载该文件时注册无法完成。

解决步骤：

1. 在宿主机上创建用户标识目录：

   mkdir -p /etc/ilogtail/users/

2. 在该目录下创建以阿里云账号 ID 命名的空文件（文件名即阿里云账号 ID）：

   touch /etc/ilogtail/users/{阿里云账号ID}

3. 启动 LoongCollector/Logtail 容器时，将该目录以只读方式挂载到容器内（在 docker run 命令中添加如下参数）：

   -v /etc/ilogtail/users:/etc/ilogtail/users:ro

4. 重启 LoongCollector/Logtail 容器。

验证：操作完成后，在 SLS 控制台进入对应机器组，查看心跳状态是否变为 OK。

Docker Swarm 集群多台服务器上报相同 IP 导致机器组识别异常

在 Docker Swarm 集群中，如果机器组中仅显示一台机器而非实际数量，通常是因为多台服务器的 Logtail 容器使用了相同的内部 IP，且配置了相同的 ALIYUN_LOGTAIL_USER_DEFINED_ID，导致 SLS 无法区分不同的服务器。

解决方法一：为每台服务器的 Logtail 容器设置唯一的 ALIYUN_LOGTAIL_USER_DEFINED_ID 环境变量，确保各服务器标识不重复，并与机器组配置中的自定义标识匹配：

-e ALIYUN_LOGTAIL_USER_DEFINED_ID={唯一标识，如 swarm-node-1}

解决方法二：设置 ALIYUN_LOGTAIL_WORKING_IP 环境变量，手动为每台服务器的 Logtail 容器指定唯一的工作 IP（例如宿主机公网 IP 或内网唯一 IP）：

-e ALIYUN_LOGTAIL_WORKING_IP={宿主机唯一IP地址}

SLS 容器元信息预览找不到 Pod 或采集不到 emptyDir 日志

在 SLS 控制台的容器元信息预览中找不到目标 Pod，或应用写入 emptyDir 的日志始终无法被采集，通常是由于 Logtail（DaemonSet 模式）无法访问容器内部的 emptyDir 临时存储。

原因：Logtail 以 DaemonSet 方式运行在宿主机上，emptyDir 是 K8s 的临时存储卷，仅存在于 Pod 内部，宿主机无法直接访问，因此 Logtail 无法读取其中的日志文件，也无法提取容器元数据。

解决方案一（推荐）：修改应用，将日志输出到标准输出（stdout/stderr）。在 SLS 控制台将采集路径配置为 K8s 标准日志路径：

/logtail_host/var/log/pods/<namespace>_<pod-name>-<uid>/<container-name>/*.log

解决方案二：若必须使用文件日志，将应用的日志目录挂载方式从 emptyDir 改为 hostPath 或 PVC，确保日志持久化在宿主机可访问路径，然后将 SLS 采集路径调整为宿主机实际挂载路径，例如：

/logtail_host/var/log/your-app/*.log

Logtail 采集容器日志提示创建文件失败或权限错误

现象：Logtail 报错，提示需要在容器内创建特定的空文件，或出现权限拒绝（Permission denied）错误，导致无法正常采集日志。

解决步骤：

1. 根据报错提示，在容器内手动创建指定的空文件：

   touch <报错中指定的文件路径>

2. 设置该文件的权限为 -rw-r--r--（644）：

   chmod 644 <报错中指定的文件路径>

3. 重启容器。

替代方案：如果以上步骤后仍无法采集，建议将容器日志目录挂载到宿主机，通过宿主机路径进行采集，此方案更为稳定。

采集 K8s 标准输出日志报错 parse cri docker line error

现象：日志中出现 parse cri docker line error: invalid CRI log, timestamp not found 报错，导致 K8s 标准输出（stdout）日志无法正常采集。

原因：日志行解析失败，常见原因是多行日志配置中行首正则表达式配置不正确，Logtail 无法识别 CRI 日志行格式。

解决步骤：

1. 检查 Logtail 配置中的行首正则表达式，确认能正确匹配日志格式；如有必要，尝试关闭多行模式：

   • YAML 配置方式：在配置文件中注释或删除 multiline 相关配置段，然后重新 apply 配置。

   • 控制台方式：在 SLS 控制台的 Logtail 配置页面，关闭多行日志采集选项。

2. 确认 K8s Namespace Regex 格式正确。若需匹配多个命名空间，各命名空间之间需使用竖线（|）分隔，例如：namespace1|namespace2。

3. 修改 YAML 配置后，执行以下命令重新应用配置使其生效：

   kubectl apply -f <配置文件.yaml>

登录Logtail容器

• 普通Docker

  1. 在宿主机上执行如下命令，查询Logtail容器。

     docker ps | grep logtail

     系统将返回如下类似结果。

     223****6e        registry.cn-hangzhou.aliyuncs.com/log-service/logtail                             "/usr/local/ilogta..."   8 days ago          Up 8 days                               logtail-iba

  2. 执行如下命令，在Logtail容器内启动bash shell。

     docker exec -it 223****6e  bash

     其中，223****6e为容器ID，请根据实际值替换。

• Kubernetes

  1. 执行如下命令，查询Logtail的Pod。

     kubectl get po -n kube-system | grep logtail

     系统将返回如下类似结果。

     logtail-ds-****d                                             1/1       Running    0          8d
     logtail-ds-****8                                             1/1       Running    0          8d

  2. 执行如下命令，登录Pod。

     kubectl exec -it -n kube-system logtail-ds-****d -- bash

     其中，logtail-ds-****d为Pod ID，请根据实际值替换。

查看Logtail的运行日志

Logtail日志存储在Logtail容器中的/usr/local/ilogtail/目录中，文件名为ilogtail.LOG和logtail_plugin.LOG。

1. 登录Logtail容器。具体操作，登录Logtail容器。

2. 打开/usr/local/ilogtail/目录。

   cd /usr/local/ilogtail

3. 查看ilogtail.LOG和logtail_plugin.LOG文件。

   cat ilogtail.LOG
   cat logtail_plugin.LOG

查看Logtail的版本号、IP地址、启动时间

1. 在宿主机执行如下命令，查看Logtail的版本号、IP地址、启动时间。

   相关信息存储在Logtail容器的/usr/local/ilogtail/app_info.json文件中。

   kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

   系统将返回如下类似结果。

   {
      "UUID" : "",
      "hostname" : "logtail-****k",
      "instance_id" : "0EB****_172.20.4.2_1517810940",
      "ip" : "172.20.4.2",
      "logtail_version" : "0.16.2",
      "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
      "update_time" : "2018-02-05 06:09:01"
   }

ACK 集群中 Pod 日志采集异常的排查信息获取

在 ACK 集群中遇到 Pod 日志采集异常时，可以通过以下方法获取排查所需的基础信息，并在寻求技术支持时一并提供，以加快问题定位。

获取 Logtail/LoongCollector 的 IP 地址：

1. 执行以下命令，查找目标节点上的 LoongCollector/Logtail Pod 名称：

   kubectl get pods -n kube-system | grep loongcollector

2. 执行以下命令，获取 IP 地址及其他基础信息（<pod-name> 替换为上一步获取的实际 Pod 名称）：

   kubectl exec <pod-name> -n kube-system cat /usr/local/ilogtail/app_info.json

向技术支持提供有效排查信息：寻求帮助时，请提供以下信息：

• Project 名称

• Logtail 采集配置名称

• 目标 Pod 名称

• 容器名称（Container Name）