LoongCollector安装（Kubernetes）

核心概念

在开始配置日志采集前，请先了解阿里云日志服务（SLS）的核心资源概念以及LoongCollector在Kubernetes环境中的运行模式。

前提条件

选择合适的安装方式

请根据您的集群类型和需求，选择下表中对应的安装方式：

ACK集群安装（DaemonSet模式）

自建集群安装（DaemonSet模式）

Sidecar模式安装

当您需要进行应用级别的、精细化的日志采集时，可以通过 Sidecar 模式安装LoongCollector，此模式将LoongCollector作为容器注入到您的业务 Pod 中。

• 优点：资源隔离性好，配置灵活，对其他应用无影响。

• 缺点：相比 DaemonSet 模式，需要手动修改应用的部署YAML 文件，配置和维护相对复杂。

操作步骤

在确认满足前提条件后，您可参考如下步骤安装并配置LoongCollector。

1. （可选）部署测试demo：如果您暂无合适的业务容器，或希望先快速验证采集功能，可以使用以下Deployment模板来快速部署一个专用的测试容器。

   test-demo-deployment.yaml

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     annotations:
       deployment.kubernetes.io/revision: '1'
     labels:
       app: deployment-file
       cluster_label: CLUSTER-LABEL-A
     name: deployment-file
     namespace: default
   spec:
     progressDeadlineSeconds: 600
     replicas: 1
     revisionHistoryLimit: 10
     selector:
       matchLabels:
         app: deployment-file
     strategy:
       rollingUpdate:
         maxSurge: 25%
         maxUnavailable: 25%
       type: RollingUpdate
     template:
       metadata:
         labels:
           app: deployment-file
           cluster_label: CLUSTER-LABEL-A
       spec:
         containers:
           - name: timestamp-test
             image: 'mirrors-ssl.aliyuncs.com/busybox:latest'
             args:
               - >-
                 while true; mkdir -p /root/log; do date '+%Y-%m-%d %H:%M:%S'
                 >>/root/log/timestamp.log; echo 1 >>/root/log/timestamp.log; echo
                 2 >>/root/log/timestamp.log; echo 3 >>/root/log/timestamp.log;
                 echo 4 >>/root/log/timestamp.log; echo 5
                 >>/root/log/timestamp.log; echo 6 >>/root/log/timestamp.log;
                 echo 7 >>/root/log/timestamp.log; echo 8
                 >>/root/log/timestamp.log; echo 9 >>/root/log/timestamp.log;
                 sleep 10; done
             command:
               - /bin/sh
               - '-c'
               - '--'
             env:
               - name: cluster_id
                 value: CLUSTER-A
             imagePullPolicy: IfNotPresent
             resources: {}
             terminationMessagePath: /dev/termination-log
             terminationMessagePolicy: File

2. 获取您当前应用的部署YAML：连接待采集容器日志的集群，通过如下命令导出需要采集日志的业务Pod的YAML文件；

   # 请将test-demo-deployment替换实际日志来源的容器名称
   kubectl get deploy test-demo-deployment -o yaml > current-config.yaml

3. 修改 YAML 文件，注入 Sidecar 容器和共享卷：在YAML文件中参考如下配置示例及参数说明进行修改：

   关键参数说明	注入Loongcollector容器所需YAML配置 apiVersion: apps/v1 kind: Deployment metadata: name: your-app-deployment # 这是您的应用部署 spec: # ... 您现有的其他 spec 配置 ... template: spec: containers: # =================================================================== # 步骤 1: 修改您现有的业务容器 # 在您自己的应用容器定义下，找到或添加 volumeMounts 部分。 # =================================================================== - name: your-business-app-container # <--- 这是您的业务容器 image: your-app-image:latest # ... 您业务容器的其他配置 ... volumeMounts: # ... 您可能已有的其他挂载点 ... # --- Begin: 添加以下内容 --- - name: ${shared_volume_name} mountPath: ${shared_volume_path} # 挂载共享存储卷到容器的日志目录 - name: tasksite mountPath: /tasksite # 与 Loongcollector容器通信的共享目录 # --- End: 添加内容 --- # =================================================================== # 步骤 2: 新增 Loongcollector Sidecar 容器 # 在 containers 列表的末尾，粘贴以下完整的 Sidecar 容器定义。 # =================================================================== - name: loongcollector image: ${loongcollector_image} command: ["/bin/sh", "-c"] args: - >- /etc/init.d/ilogtaild start; sleep 10; touch /tasksite/cornerstone; until [[ -f /tasksite/tombstone ]]; do sleep 1; done; sleep 10; /etc/init.d/ilogtaild stop; livenessProbe: exec: command: - /etc/init.d/ilogtaild - status initialDelaySeconds: 30 periodSeconds: 30 env: # 设置时区。请根据kubernetes集群所在地域，配置时区，格式为"地区/城市"。 # 如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配。 - name: TZ value: "${timezone}" - name: ALIYUN_LOGTAIL_USER_ID value: "${your_aliyun_user_id}" - name: ALIYUN_LOGTAIL_USER_DEFINED_ID value: "${your_machine_group_user_defined_id}" - name: ALIYUN_LOGTAIL_CONFIG value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json" # 追加 Pod 环境信息作为日志标签 - name: "ALIYUN_LOG_ENV_TAGS" value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_" # 获取 Pod 和 Node 的信息 - name: "_pod_name_" valueFrom: fieldRef: fieldPath: metadata.name - name: "_pod_ip_" valueFrom: fieldRef: fieldPath: status.podIP - name: "_namespace_" valueFrom: fieldRef: fieldPath: metadata.namespace - name: "_node_name_" valueFrom: fieldRef: fieldPath: spec.nodeName - name: "_node_ip_" valueFrom: fieldRef: fieldPath: status.hostIP volumeMounts: # Loongcollector 容器的日志目录挂载到共享存储卷 - name: ${shared_volume_name} mountPath: ${dir_containing_your_files} # 与业务容器交互的挂载点 - name: tasksite mountPath: /tasksite # =================================================================== # 步骤 3: 定义共享卷 # 在 spec.template.spec 下，与 containers 同级的位置，添加 volumes 定义。 # =================================================================== volumes: # 定义空的共享存储卷用于日志存储 - name: ${shared_volume_name} emptyDir: {} # 定义存储卷用于容器间通信 - name: tasksite emptyDir: medium: Memory
   ${timezone} 容器时区，请参考支持时区进行配置。
   ${your_aliyun_user_id} 日志服务所属账号的阿里云主账号ID。
   ${your_machine_group_user_defined_id} 机器组的自定义标识，用于创建自定义机器组。 重要 请确保该标识在您的Project所在地域内唯一。
   ${your_region_config} 请根据日志服务Project所在地域和网络访问类型填写，格式如下，以Project位于华东1（杭州）为例： 阿里云内网访问时：该配置为cn-hangzhou 公网访问时：该配置为cn-hangzhou-internet。 地域ID请参考地域进行替换。
   ${logtail_image} Loongcollector镜像地址，请将镜像地址中的${region-id}替换为集群所在的地域对应的RegionID。 镜像地址： aliyun-observability-release-registry.${region-id}.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun
   ${shared_volume_name} 自定义设置卷的名称。 重要 volumeMounts节点下的name参数与volumes节点下的name参数需设置为一致，即确保Logtail容器和业务容器挂载相同的卷上。
   ${dir_containing_your_files} 设置挂载路径，即容器待采集文本日志所在目录。

4. 应用更新后的配置：执行如下命令，更新应用。

   kubectl apply -f current-config.yaml

5. 验证Loongcollector是否安装成功：执行如下命令，检查新创建的 Pod，确保业务容器和 LoongCollector容器都处于 Running 状态。

   kubectl describe pod <YOUR-POD-NAME>

   LoongCollector容器状态为Running表示安装成功，正常运行。

   

6. 创建机器组：

   1. 登录日志服务控制台，单击目标Project。

   2. 在左侧导航栏中，选择资源 > 机器组，单击机器组右侧的 > 创建机器组。

   3. 在创建机器组对话框中，配置如下参数，然后单击确定。

      1. 设置机器组名称。

      2. 机器组标识：选择用户自定义标识。

      3. 用户自定义标识：您在修改配置文件时定义的${your_machine_group_user_defined_id}的值。

   4. 创建完成后，在机器组列表，单击新建的机器组，在机器组配置 > 机器组状态区域，查看心跳状态。如果心跳为OK则表示创建成功。若心跳失败，请检查用户标识与用户自定义标识内容是否正确。

常见问题

后续步骤

安装完LoongCollector后，您可以查看Kubernetes集群容器日志采集须知了解Kubernetes容器日志采集的核心原理、关键流程、选型建议和最佳实践，并选择合适的方式创建采集配置：

• Kubernetes-CRD

• 日志服务控制台

相关参考

Loongcollector运行模式

特性	DaemonSet模式	Sidecar模式
部署方式	每个节点部署1个采集容器	每个Pod部署1个采集容器
资源消耗	低（共享节点资源）	较高（每个Pod单独占用）
适用场景	节点级统一日志采集	特定应用独立隔离采集
隔离性	节点级共享	Pod级独立

DaemonSet模式原理

在集群的每个Node节点上部署一个 LoongCollector，负责采集该节点上所有容器的日志；特点：运维简单、资源占用少、配置方式灵活；但是隔离性较弱。

• 在DaemonSet模式中，Kubernetes集群确保每个节点（Node）只运行一个LoongCollector容器，用于采集当前节点内所有容器（Containers）的日志。

• 当新节点加入集群时，Kubernetes集群会自动在新节点上创建LoongCollector容器；当节点退出集群时，Kubernetes集群会自动销毁当前节点上的LoongCollector容器。通过DaemonSet的自动扩缩容机制以及标识型机器组，无需手动管理LoongCollector实例。

Sidecar模式原理

每个 Pod 中伴随业务容器注入一个 LoongCollector Sidecar容器，并将业务容器的日志目录通过K8s的Volume机制（如emptyDir、hostPath、PVC等）挂载为共享卷。这样，日志文件会同时出现在业务容器和Sidecar容器的挂载路径下，LoongCollector就能直接读取这些日志文件；特点：多租户隔离性好、性能好；但资源占用较多，配置与维护较复杂。

• 在Sidecar模式中，每个容器组（Pod）运行一个LoongCollector容器，用于采集当前容器组（Pod）所有容器（Containers）的日志。不同Pod的日志采集相互隔离。

• 为了采集同一Pod中其他容器的日志文件，需要通过共享存储卷的方式来完成，需要将同一份存储卷分别挂载到业务容器和LoongCollector容器。

• 当一个节点上的 Pod 数据量异常庞大，远超出 Daemonset 的采集性能上限时，Sidecar模式允许我们为LoongCollector分配特定的资源，从而提升其日志采集的性能和稳定性。

• 在 Serverless 容器中缺乏节点的概念，传统的 Daemonset 部署模式无法应用。此时，SideCar 模式能够有效地与无服务器架构结合，保证日志采集过程的灵活性和适应性。