AI 助理
备案控制台
文档
输入文档关键字查找
首页 容器服务 Kubernetes 版 ACK ACK托管与专有集群 操作指南 可观测性 日志管理 通过Sidecar方式采集Kubernetes容器文本日志

通过Sidecar方式采集Kubernetes容器文本日志

更新时间：
产品详情
我的收藏
重要

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志，可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。

工作原理

image

Sidecar模式

  • 在Sidecar模式中，每个容器组（Pod）运行一个Logtail容器，用于采集当前容器组（Pod）所有容器（Containers）的日志。不同Pod的日志采集相互隔离。

  • 为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见Sidecar日志采集介绍和Sidecar模式示例。存储卷的更多信息，请参见存储基础知识。

前提条件

  • 已安装Logtail组件。具体操作，请参见安装Logtail组件（阿里云Kubernetes集群）。

  • 安装Logtail的主机需开放80（HTTP）端口和443（HTTPS）端口。ECS实例的端口由安全组规则控制，添加安全组规则的步骤请参见添加安全组规则。

  • 目标容器持续新增日志。Logtail只采集增量日志。如果下发logtail采集配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见读取日志。

  • 业务容器中待采集文件必须位于存储卷中，且该存储卷必须挂载到Logtail容器。

步骤一：为业务Pod注入Logtail容器

  1. 登录Kubernetes集群。

  2. 创建一个YAML文件。sidecar.yaml为文件的示例名称，请根据实际情况替换。

    vim sidecar.yaml

  3. 在YAML文件中输入如下脚本，并根据实际情况设置其中的参数。

    警告

    YAML模板中，所有带有${}的占位符都需要替换为您环境中实际的值，其他参数禁止改动、删除。

    YAML模板

    apiVersion: batch/v1
kind: Job
metadata:
  # 在这里添加 Job 元信息，比如 name 和 namespace
  name: ${job_name}
  namespace: ${namespace}
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
        # 业务容器
        - name: ${main_container_name}
          image: ${main_container_image}
          command: ["/bin/sh", "-c"]
          args:
            - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
              # 替换为业务容器的实际启动命令
              ${container_start_cmd};
              retcode=$?;
              touch /tasksite/tombstone;
              exit $retcode
          volumeMounts:
            # 业务容器的日志目录挂载到共享存储卷
            - name: ${shared_volume_name}
              mountPath: ${dir_containing_your_files}
            # 与 Logtail 容器交互的挂载点
            - mountPath: /tasksite
              name: tasksite
         
        # Logtail sidecar 容器
        - name: logtail
          image: ${logtail_image}
          command: ["/bin/sh", "-c"]
          args:
            - /etc/init.d/ilogtaild start;
              sleep 10; # 等待 Logtail 配置下载完成
              touch /tasksite/cornerstone;
              until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
              sleep 10; # 等待 Logtail 完成日志发送
              /etc/init.d/ilogtaild stop;
          livenessProbe:
            exec:
              command:
                - /etc/init.d/ilogtaild
                - status
            initialDelaySeconds: 30
            periodSeconds: 30
          env:
            # 设置时区。请根据kubernetes集群所在地域，配置时区，格式为"地区/城市"。如果是中国大陆，可以设置时区为Asia/Shanghai。
            # 如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配，进而将日志数据归档到错误的时间点。
            - name: TZ   
              value: "${timezone}"
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "${your_aliyun_user_id}"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "${your_machine_group_user_defined_id}"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
            # 追加 Pod 环境信息作为日志标签
            - name: "ALIYUN_LOG_ENV_TAGS"
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
            # 获取 Pod 和 Node 的信息
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: "_node_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          volumeMounts:
            # Logtail 容器的日志目录挂载到共享存储卷
            - name: ${shared_volume_name}
              mountPath: ${dir_containing_your_files}
            # 与业务容器交互的挂载点
            - mountPath: /tasksite
              name: tasksite
      volumes:
        # 定义空的共享存储卷用于日志存储
        - name: ${shared_volume_name}
          emptyDir: {}
        # 定义存储卷用于容器间通信
        - name: tasksite
          emptyDir:
            medium: Memory

    关键参数说明

    变量

    说明

    ${your_aliyun_user_id}

    设置为您的阿里云账号ID。更多信息，请参见配置用户标识。

    ${your_machine_group_user_defined_id}

    自定义设置机器组的自定义标识，例如nginx-log-sidecar。

    重要

    请确保该标识在您的Project所在地域内唯一。

    ${your_region_config}

    请根据日志服务Project所在地域和访问的网络类型填写。其中，地域信息请参见安装Logtail（Linux系统）。

    • 如果使用公网采集日志，格式为region-internet，例如华东 1（杭州）为cn-hangzhou-internet。

    • 如果使用阿里云内网采集日志，格式为region。例如华东 1（杭州）为cn-hangzhou。

    ${logtail_image}

    Logtail镜像地址。

    ${shared_volume_name}

    自定义设置卷的名称。

    重要

    volumeMounts节点下的name参数与volumes节点下的name参数需设置为一致，即确保Logtail容器和业务容器挂载相同的卷上。

    ${dir_containing_your_files}

    设置挂载路径，即容器待采集文本日志所在目录。

    示例

    apiVersion: batch/v1
kind: Job
metadata:
  # 在这里添加 Job 元信息，比如 name 和 namespace
  name: nginx-log-sidecar-demo
  namespace: default
spec:
  template:
    metadata:
      # 在这里添加 Pod 元信息，比如 labels
      labels:
        app: nginx-logger
    spec:
      restartPolicy: Never
      containers:
        # 业务容器
        - name: nginx
          image: nginx-test
          command: ["/bin/sh", "-c"]
          args:
            - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
              # 替换为业务容器的实际启动命令
              nginx -g 'daemon off;';
              retcode=$?;
              touch /tasksite/tombstone;
              exit $retcode
          volumeMounts:
            # 业务容器的日志目录挂载到共享存储卷
            - name: nginx-logs
              mountPath: /var/log/nginx
            # 与 Logtail 容器交互的挂载点
            - mountPath: /tasksite
              name: tasksite
          # 在这里定义业务容器的资源请求和限制
          resources:
            limits:
              cpu: 500m
              memory: 512Mi
            requests:
              cpu: 10m
              memory: 30Mi
        # Logtail sidecar 容器
        - name: logtail
          image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:v1.5.1.0-aliyun
          command: ["/bin/sh", "-c"]
          args:
            - /etc/init.d/ilogtaild start;
              sleep 10; # 等待 Logtail 配置下载完成
              touch /tasksite/cornerstone;
              until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
              sleep 10; # 等待 Logtail 完成日志发送
              /etc/init.d/ilogtaild stop;
          livenessProbe:
            exec:
              command:
                - /etc/init.d/ilogtaild
                - status
            initialDelaySeconds: 30
            periodSeconds: 30
          resources:
            limits:
              cpu: 500m
              memory: 512Mi
            requests:
              cpu: 10m
              memory: 30Mi
          env:
            # 设置时区。请根据kubernetes集群所在地域，配置时区，格式为"地区/城市"。如果是中国大陆，可以设置时区为Asia/Shanghai。
            # 如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配，进而将日志数据归档到错误的时间点。
            - name: TZ   
              value: "Asia/Shanghai"
            # 在这里替换为实际的环境变量值
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "20*******28"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "nginx-log-sidecar"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/cn-hangzhou-internet/ilogtail_config.json"
            # 追加 Pod 环境信息作为日志标签
            - name: "ALIYUN_LOG_ENV_TAGS"
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
            # 获取 Pod 和 Node 的信息
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: "_node_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          volumeMounts:
            # Logtail 容器的日志目录挂载到共享存储卷
            - name: nginx-logs
              mountPath: /var/log/nginx
            # 与业务容器交互的挂载点
            - mountPath: /tasksite
              name: tasksite
      volumes:
        # 定义空的共享存储卷用于日志存储
        - name: nginx-logs
          emptyDir: {}
        # 定义存储卷用于容器间通信
        - name: tasksite
          emptyDir:
            medium: Memory

  4. 执行如下命令使sidecar.yaml文件配置生效。

    sidecar.yaml为文件名，请根据实际情况替换。

    kubectl apply -f sidecar.yaml

创建Logtail采集配置

警告

通过CRD方式创建的配置，在控制台上对其修改不会同步到CRD中。因此，如需修改由CRD创建的配置内容，只能修改CRD资源，不要直接在控制台操作，避免iLogtail采集配置不一致。

日志服务控制台

  1. 登录日志服务控制台。

  2. 单击控制台右侧的快速接入数据，在接入数据区域单击Kubernetes-文件卡片。

    image

  3. 选择目标Project和Logstore，单击下一步。选择您在安装Logtail组件时所使用的Project。Logstore为您自定义创建的Logstore。

  4. 在机器组配置页面。

    1. 根据实际场景，单击以下页签：

      • K8s场景 > ACK Daemonset

      • K8s场景 > 自建集群Daemonset

        重要

        不同页签的后续配置步骤不同，请根据实际需求正确选择。

    2. 确认目标机器组已在应用机器组列表中，然后单击下一步。在ACK中安装Logtail组件后，日志服务自动创建名为k8s-group-${your_k8s_cluster_id}的机器组，您可以直接使用该机器组。

      重要

      • 如果需要新建机器组，请单击创建机器组，按照右侧面板进行创建。更多信息，请参见通过控制台配置。

      • 如果机器组心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

  5. 创建Logtail采集配置，单击下一步创建Logtail采集配置，日志服务开始采集日志。

    说明

    Logtail采集配置生效时间最长需要3分钟，请耐心等待。

    全局配置

    配置项

    说明

    配置名称

    Logtail配置名称，在其所属Project内必须唯一。创建Logtail配置成功后，无法修改其名称。

    日志主题类型

    选择日志主题（Topic）的生成方式。更多信息，请参见日志主题。

    • 机器组Topic：设置为机器组的Topic属性，用于明确区分不同机器组产生的日志。

    • 文件路径提取：设置为文件路径正则，则需要设置自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同源产生的日志。

    • 自定义：自定义日志主题。

    高级参数

    其它可选的与配置全局相关的高级功能参数，请参见创建Logtail流水线配置。

    输入配置

    参数名称

    说明

    Logtail部署模式

    Logtail部署模式，选择DaemonSet。

    文件路径类型

    选择待采集的文件路径是容器内路径或宿主机路径。对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。

    文件路径

    • 如果目标容器节点是Linux系统，则日志路径必须以正斜线（/）开头，例如/apsara/nuwa/**/app.Log。

    • 如果目标容器节点是Windows系统，则日志路径必须以盘符开头，例如C:\Program Files\Intel\**\*.Log。

    目录名和文件名均支持完整模式和通配符模式，文件名规则请参见Wildcard matching。其中，日志路径通配符只支持星号（*）和半角问号（?）。

    日志文件查找模式为多层目录匹配，即符合条件的指定目录（包含所有层级的目录）下所有符合条件的文件都会被查找到。例如：

    • /apsara/nuwa/**/*.log表示/apsara/nuwa目录（包含该目录的递归子目录）中后缀名为.log的文件。

    • /var/logs/app_*/**/*.log表示/var/logs目录下所有符合app_*格式的目录（包含该目录的递归子目录）中后缀名为.log的文件。

    • /var/log/nginx/**/access*表示/var/log/nginx目录（包含该目录的递归子目录）中以access开头的文件。

    最大目录监控深度

    设置日志目录被监控的最大深度，即文件路径中通配符**匹配的最大目录深度。0代表只监控本层目录。

    警告

    请按最小需要原则配置目录监控深度，过大的目录深度导致Logtail占用更多的监控资源，造成日志采集延迟。

    启用容器元信息预览

    打开启用容器元信息预览后，您可以在创建Logtail配置后，查看容器元信息，包括匹配容器信息和全量容器信息。

    容器过滤

    • Logtail版本

      • Logtail 1.0.34以下版本，只支持通过环境变量、容器Label进行容器过滤。

      • Logtail 1.0.34及以上版本，推荐使用Kubernetes层级的信息（Pod名称、Namespace、容器名称、容器Label等）进行容器过滤。

    • 过滤条件说明

      重要

      • 容器Label为Docker inspect中的Label，不是Kubernetes中的Label。如何获取，请参见获取容器Label。

      • 环境变量为容器启动中配置的环境变量信息。如何获取，请参见获取容器环境变量。

      1. Kubernetes中的Namespace和容器名称会映射到容器Label中，分别为io.kubernetes.pod.namespace和io.kubernetes.container.name，推荐使用这两个容器Label进行容器过滤。例如，某Pod所属的命名空间为backend-prod，容器名为worker-server，如果您要采集包含该容器的日志，可以设置容器Label白名单为io.kubernetes.pod.namespace : backend-prod或io.kubernetes.container.name : worker-server。

      2. 如果以上两个容器Label不满足过滤需求，请使用环境变量的黑白名单进行容器过滤。

    • K8s Pod名称正则匹配

      通过Pod名称指定待采集的容器，支持正则匹配。例如设置为^(nginx-log-demo.*)$，表示匹配以nginx-log-demo开头的Pod下的所有容器。

    • K8s Namespace正则匹配

      通过Namespace名称指定采集的容器，支持正则匹配。例如设置为^(default|nginx)$，表示匹配nginx命名空间、default命名空间下的所有容器。

    • K8s容器名称正则匹配

      通过容器名称指定待采集的容器（Kubernetes容器名称是定义在spec.containers中），支持正则匹配。例如设置为^(container-test)$，表示匹配所有名为container-test的容器。

    • 容器label白名单

      通过容器Label白名单指定待采集的容器。

      重要

      请勿设置相同的标签名，如果重名只生效一个。

      • 如果设置了标签名但不设置标签值，则容器Label中包含该标签名的容器都匹配。

      • 如果设置了标签名和标签值，则容器Label中包含该标签名:标签值的容器才匹配。

        标签值默认为字符串匹配，即只有标签值和容器Label的值完全相同才会匹配。如果该值以^开头并且以$结尾，则为正则匹配。例如设置标签名为app，设置标签值为^(test1|test2)$，表示匹配容器Label中包含app:test1、app:test2的容器。

      多个白名单之间为或关系，即只要容器Label满足任一白名单即可被匹配。

    • 容器label黑名单

      通过容器Label黑名单排除不采集的容器。

      重要

      请勿设置相同的标签名，如果重名只生效一个。

      • 如果设置了标签名但不设置标签值，则容器Label中包含该标签名的容器都被排除。

      • 如果设置了标签名和标签值，则容器Label中包含该标签名:标签值的容器才会被排除。

        标签值默认为字符串匹配，即只有标签值和容器Label的值完全相同才会被排除。如果该值以^开头并且以$结尾，则为正则匹配。例如设置标签名为app，设置标签值为^(test1|test2)$，表示排除容器Label中包含app:test1、app:test2的容器。

      多个黑名单之间为或关系，即只要容器Label满足任一黑名单对即可被排除。

    • 环境变量白名单

      通过环境变量白名单指定待采集的容器。

      • 如果设置了环境变量名但不设置环境变量值，则容器环境变量中包含该环境变量名的容器都匹配。

      • 如果设置了环境变量名和环境变量值，则容器环境变量中包含该环境变量名和值的容器才匹配。

        环境变量值默认为字符串匹配，即只有环境变量值和环境变量的值完全相同才会匹配。如果该值以^开头并且以$结尾，则为正则匹配，例如：设置环境变量名为NGINX_SERVICE_PORT，设置环境变量值为^(80|6379)$，表示可匹配服务端口为80、6379的容器。

      多个白名单之间为或关系，即只要容器的环境变量满足任一键值对即可被匹配。

    • 环境变量黑名单

      通过环境变量黑名单排除不采集的容器。

      • 如果设置了环境变量名但不设置环境变量值，则容器环境变量中包含该环境变量名的容器的日志都将被排除。

      • 如果设置了环境变量名和环境变量值，则容器环境变量中包含该环境变量名和值的容器才会被排除。

        环境变量值默认为字符串匹配，即只有环境变量值和环境变量的值完全相同才会被排除。如果该值以^开头并且以$结尾，则为正则匹配，例如：设置环境变量名为NGINX_SERVICE_PORT，设置环境变量值为^(80|6379)$，表示可排除服务端口为80、6379的容器。

      多个黑名单之间为或关系，即只要容器的环境变量满足任一键值对即可被排除。

    • K8s Pod标签白名单

      通过Kubernetes Pod标签白名单指定待采集的容器。

      • 如果设置了标签名但不设置标签值，则Pod标签中包含该标签名的容器都匹配。

      • 如果设置了标签和标签值，则Pod标签中包含该标签名:标签值的容器才匹配。

        标签值默认为字符串匹配，即只有标签值和Pod标签的值完全相同才会匹配。如果该值以^开头并且以$结尾，则为正则匹配，例如：设置标签名为environment，设置标签值为^(dev|pre)$，表示匹配Pod标签中包含environment:dev、environment:pre的容器。

      多个白名单之间为或关系，即只要Pod标签满足任一键值对即可。

    • K8s Pod标签黑名单

      通过Kubernetes Pod标签黑名单排除不采集的容器。

      • 如果设置了标签名但不设置标签值，则Pod标签中包含该标签名的容器都将被排除。

      • 如果设置了标签和标签值，则Pod标签中包含该标签名和标签值的容器才会被排除。

        标签值默认为字符串匹配，即只有标签值和Pod标签的值完全相同才会被排除。如果该值以^开头并且以$结尾，则为正则匹配，例如：设置标签名为environment，设置标签值为^(dev|pre)$，表示排除Pod标签中包含environment:dev、environment:pre的容器。

      多个黑名单之间为或关系，即只要Pod标签满足任一键值对即可被排除。

    日志标签富化

    环境变量相关tag和Pod标签相关tag。

    文件编码

    日志文件的编码格式。

    首次采集大小

    配置首次生效时，匹配文件的起始采集位置距离文件结尾的大小。首次采集大小设定值为1024 KB。

    • 首次采集时，如果文件小于1024 KB，则从文件内容起始位置开始采集。

    • 首次采集时，如果文件大于1024 KB，则从距离文件末尾1024 KB的位置开始采集。

    您可以通过此处修改首次采集大小，取值范围为0~10485760，单位为KB。

    采集黑名单

    打开采集黑名单开关后，可进行黑名单配置，即可在采集时忽略指定的目录或文件。支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

    重要

    • 如果您在配置日志路径时使用了通配符，但又需要过滤掉其中部分路径，则需在采集黑名单中填写对应的完整路径来保证黑名单配置生效。

      例如您配置日志路径为/home/admin/app*/log/*.log，但要过滤/home/admin/app1*目录下的所有子目录，则需选择目录黑名单，配置目录为/home/admin/app1*/** 。如果配置为/home/admin/app1*，黑名单不会生效。

    • 匹配黑名单过程存在计算开销，建议黑名单条目数控制在10条内。

    • 目录路径不能以正斜线（/）结尾，例如将设置路径为/home/admin/dir1/，目录黑名单不会生效。

    支持按照文件路径黑名单、文件黑名单、目录黑名单设置，详细说明如下：

    文件路径黑名单

    • 选择文件路径黑名单，配置路径为/home/admin/private*.log，则表示在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。

    • 选择文件路径黑名单，配置路径为/home/admin/private*/*_inner.log，则表示在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。例如/home/admin/private/app_inner.log文件被忽略，/home/admin/private/app.log文件被采集。

    文件黑名单

    选择文件黑名单，配置文件名为app_inner.log，则表示采集时忽略所有名为app_inner.log的文件。

    目录黑名单

    • 选择目录黑名单，配置目录为/home/admin/dir1，则表示在采集时忽略/home/admin/dir1目录下的所有文件。

    • 选择目录黑名单，配置目录为/home/admin/dir*，则表示在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

    • 选择目录黑名单，配置目录为/home/admin/*/dir，则表示在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。

    允许文件多次采集

    默认情况下，一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份，需打开允许文件多次采集开关。

    高级参数

    Logtail配置的部分参数需要手动输入，请参见创建Logtail流水线配置。

    处理配置

    配置项

    说明

    日志样例

    待采集日志的样例，请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。

    [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

    多行模式

    • 多行日志的类型：多行日志是指每条日志分布在连续的多行中，需要从日志内容中区分出每一条日志。

      • 自定义：通过行首正则表达式区分每一条日志。

      • 多行JSON：每个JSON对象被展开为多行，例如：

        {
  "name": "John Doe",
  "age": 30,
  "address": {
    "city": "New York",
    "country": "USA"
  }
}

    • 切分失败处理方式：

      Exception in thread "main" java.lang.NullPointerException
    at com.example.MyClass.methodA(MyClass.java:12)
    at com.example.MyClass.methodB(MyClass.java:34)
    at com.example.MyClass.main(MyClass.java:½0)

      对于以上日志内容，如果日志服务切分失败：

      • 丢弃：直接丢弃这段日志。

      • 保留单行：将每行日志文本单独保留为一条日志，保留为一共四条日志。

    处理模式

    处理插件组合，包括原生插件和拓展插件。有关处理插件的更多信息，请参见处理插件概述。

    重要

    处理插件的使用限制，请以控制台页面的提示为准。

    • 2.0版本的Logtail：

      • 原生处理插件可任意组合。

      • 原生处理插件和扩展处理插件可同时使用，但扩展处理插件只能出现在所有的原生处理插件之后。

    • 低于2.0版本的Logtail：

      • 不支持同时添加原生插件和扩展插件。

      • 原生插件仅可用于采集文本日志。使用原生插件时，须符合如下要求：

        • 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

        • 从第二个处理插件到最后一个处理插件，最多包括1个时间解析处理插件，1个过滤处理插件和多个脱敏处理插件。

      • 对于解析失败时保留原始字段和解析成功时保留原始字段参数，只有以下组合有效，其余组合无效。

        • 只上传解析成功的日志：

          image

        • 解析成功时上传解析后的日志，解析失败时上传原始日志：

          image

        • 解析成功时不仅上传解析后的日志，并且追加原始日志字段，解析失败时上传原始日志。

          例如，原始日志"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始字段是在解析后日志的基础上再增加一个字段，字段名为重命名的原始字段（如果不填则默认为原始字段名），字段值为原始日志{"request_method":"GET", "request_time":"200"}。

          image

  6. 创建索引和预览数据，然后单击下一步。日志服务默认开启全文索引。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将自动生成字段索引。更多信息，请参见创建索引。

    重要

    如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。

  7. 单击查询日志，系统将跳转至Logstore查询分析页面。

    您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。更多信息，请参见查询和分析日志。

（推荐）CRD-AliyunPipelineConfig

创建Logtail采集配置

警告

使用AliyunPipelineConfig，需要日志组件版本最低为0.5.1。

您只需要创建AliyunPipelineConfig CR即可创建iLogtail采集配置，创建完成后自动生效。对于通过CR创建的iLogtail采集配置，其修改只能通过更新相应的CR来实现。

  1. 获取集群KubeConfig并通过kubectl工具连接集群。

  2. 执行如下命令创建一个YAML文件。

    cube.yaml为文件名，请根据实际情况替换。

    vim cube.yaml

  3. 在YAML文件输入如下脚本，并根据实际情况设置其中的参数。

    重要

    • 请确保configName字段值在安装Logtail组件的Project中唯一。

    • 每个iLogtail采集配置必须单独设置一个对应的CR，如果多个CR关联同一个Logtail配置，后配置的CR将不会生效。

    • AliyunPipelineConfig的参数，请参见【推荐】使用AliyunPipelineConfig管理采集配置。本文的iLogtail采集配置样例包含基础的文本日志采集功能，参数说明参见CreateLogtailPipelineConfig - 创建Logtail流水线配置。

    • 请确保config.flushers.Logstore参数配置的Logstore已存在，可以通过配置spec.logstore参数自动创建Logstore。

    采集指定容器内的单行文本日志

    创建名为example-k8s-file的iLogtail采集配置，对于集群内名称包含app的所有容器，以单行文本模式采集/data/logs/app_1路径下的test.LOG文件，

    直接发送到名称为k8s-file的Logstore，该Logstore属于名称为k8s-log-test的Project。

    apiVersion: telemetry.alibabacloud.com/v1alpha1
# 创建一个 ClusterAliyunPipelineConfig
kind: ClusterAliyunPipelineConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的iLogtail采集配置名
  name: example-k8s-file
spec:
  # 指定目标project
  project:
    name: k8s-log-test
  # 创建用于存储日志的 Logstore
  logstores:
    - name: k8s-file
  # 定义iLogtail采集配置
  config:
    # 定义输入插件
    inputs:
      # 使用input_file插件采集容器内文本日志
      - Type: input_file
        # 容器内的文件路径
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # 启用容器发现功能。
        EnableContainerDiscovery: true
        # 添加容器信息过滤条件，多个选项之间为“且”的关系。
        ContainerFilters:
          # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
          K8sNamespaceRegex: default
          # 指定待采集容器的名称，支持正则匹配。
          K8sContainerRegex: ^(.*app.*)$
    # 定义输出插件
    flushers:
      # 使用flusher_sls插件输出到指定Logstore。
      - Type: flusher_sls
        # 需要确保该 Logstore 存在
        Logstore: k8s-file
        # 需要确保 endpoint 正确
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

    采集所有容器内的多行文本日志并正则解析

    创建名为example-k8s-file的iLogtail采集配置，以多行文本模式采集集群内所有容器内的/data/logs/app_1路径下的test.LOG文件，对采集到的数据进行JSON解析，直接发送到名称为k8s-file的Logstore，该Logstore属于名称为k8s-log-test的Project。

    下面样例中的日志原文通过input_file插件读取后格式为{"content": "2024-06-19 16:35:00 INFO test log\nline-1\nline-2\nend"}，会被正则解析插件解析为{"time": "2024-06-19 16:35:00", "level": "INFO", "msg": "test log\nline-1\nline-2\nend"}

    apiVersion: telemetry.alibabacloud.com/v1alpha1
# 创建一个 ClusterAliyunPipelineConfig
kind: ClusterAliyunPipelineConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的iLogtail采集配置名
  name: example-k8s-file
spec:
  # 指定目标project
  project:
    name: k8s-log-test
  # 创建用于存储日志的 Logstore
  logstores:
    - name: k8s-file
  # 定义iLogtail采集配置
  config:
    # 日志样例（可不填写）
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    # 定义输入插件
    inputs:
      # 使用input_file插件采集容器内多行文本日志
      - Type: input_file
        # 容器内的文件路径
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # 启用容器发现功能。
        EnableContainerDiscovery: true
        # 开启多行能力
        Multiline:
          # 选择自定义行首正则表达式模式
          Mode: custom
          # 配置行首正则表达式
          StartPattern: \d+-\d+-\d+.*
    # 定义处理插件
    processors:
      # 使用正则解析插件解析日志
      - Type: processor_parse_regex_native
        # 源字段名
        SourceKey: content
        # 解析用的正则表达式，用捕获组"()"捕获待提取的字段
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        # 提取的字段列表
        Keys: ["time", "level", "msg"]
    # 定义输出插件
    flushers:
      # 使用flusher_sls插件输出到指定Logstore。
      - Type: flusher_sls
        # 需要确保该 Logstore 存在
        Logstore: k8s-file
        # 需要确保 endpoint 正确
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

  4. 执行如下命令使iLogtail采集配置生效。iLogtail采集配置生效后，Logtail开始采集各个容器上的文本日志，并发送到日志服务中。

    cube.yaml为文件名，请根据实际情况替换。

    kubectl apply -f cube.yaml
    重要

    采集到日志后，您需要先创建索引，才能在Logstore中查询和分析日志。具体操作，请参见创建索引。

CRD-AliyunLogConfig

您只需要创建AliyunLogConfig CR即可创建iLogtail采集配置，创建完成后自动生效。对于通过CR创建的iLogtail采集配置，其修改只能通过更新相应的CR来实现。

  1. 获取集群KubeConfig并通过kubectl工具连接集群。

  2. 执行如下命令创建一个YAML文件。

    cube.yaml为文件名，请根据实际情况替换。

    vim cube.yaml

  3. 在YAML文件输入如下脚本，并根据实际情况设置其中的参数。

    重要

    • 请确保configName字段值在安装Logtail组件的Project中唯一。

    • 如果多个CR关联同一个iLogtail采集配置，则删除或修改任意一个CR均会影响到该iLogtail采集配置，导致其他关联该iLogtail采集配置的CR状态与日志服务中iLogtail采集配置的状态不一致。

    • CR字段的格式请参见使用AliyunLogConfig管理采集配置。本文的iLogtail采集配置样例包含基础的文本日志采集功能，具体参数参见CreateConfig - 创建Logtail采集配置。

    采集指定容器内的单行文本日志

    “创建名为example-k8s-file的iLogtail采集配置，以单行文本模式采集集群内所有名称开头为app的Pod的容器内的/data/logs/app_1路径下的test.LOG文件，直接发送到名称为k8s-file的Logstore，该Logstore属于名称为k8s-log-test的Project。”

    apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: example-k8s-file
  namespace: kube-system
spec:
  # 设置目标project名称（可不填写，默认为k8s-log-<your_cluster_id>）
  project: k8s-log-test
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-file
  # 设置iLogtail采集配置。
  logtailConfig:
    # 设置采集的数据源类型。采集文本日志时，需设置为file。
    inputType: file
    # 设置iLogtail采集配置的名称。
    configName: example-k8s-file
    inputDetail:
      # 指定通过极简模式采集文本日志。
      logType: common_reg_log
      # 设置日志文件所在路径。
      logPath: /data/logs/app_1
      # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
      filePattern: test.LOG
      # 采集容器的文本日志时，需设置dockerFile为true。
      dockerFile: true
      #设置容器过滤条件。
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

  4. 执行如下命令使其iLogtail采集配置生效。iLogtail采集配置生效后，Logtail开始采集各个容器上的文本日志，并发送到日志服务中。

    cube.yaml为文件名，请根据实际情况替换。

    kubectl apply -f cube.yaml
    重要

    采集到日志后，您需要先创建索引，才能在Logstore中查询和分析日志。具体操作，请参见创建索引。

查看Logtail采集配置

控制台

  1. 登录日志服务控制台。

  2. 在Project列表区域，单击目标Project。

    image

  3. 在日志存储 > 日志库页签中，单击目标日志库前面的>，依次选择数据接入 > Logtail配置。

  4. 单击目标Logtail采集配置，查看Logtail采集配置详情。

（推荐）CRD-AliyunPipelineConfig

查看由AliyunPipelineConfig创建的Logtail采集配置

执行kubectl get clusteraliyunpipelineconfigs命令查看iLogtail采集配置。

查看由AliyunPipelineConfig创建的Logtail采集配置的详细信息

您可以执行以下命令进行查看。其中，<config_name>为AliyunPipelineConfig的名称，请根据实际情况替换。 

kubectl get clusteraliyunpipelineconfigs <config_name> -o yaml

以采集指定容器内的单行文本日志的CR为例，返回结果参考如下所示，可以根据status查看iLogtail采集配置的应用情况：

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  finalizers:
    - finalizer.pipeline.alibabacloud.com
  name: example-k8s-file
# 预期的配置
spec:
  config:
    flushers:
      - Endpoint: cn-hangzhou.log.aliyuncs.com
        Logstore: k8s-file
        Region: cn-hangzhou
        TelemetryType: logs
        Type: flusher_sls
    inputs:
      - EnableContainerDiscovery: true
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        Type: input_file
  logstores:
    - encryptConf: {}
      name: k8s-file
  project:
    name: k8s-log-clusterid
# CR的应用状态
status:
  # CR 是否应用成功
  success: true
  # CR 当前的状态信息
  message: success
  # 当前 status 的更新时间
  lastUpdateTime: '2024-06-19T09:21:34.215702958Z'
  # 上次成功应用的配置信息，该配置信息为填充默认值后实际生效的配置
  lastAppliedConfig:
    # 上次成功应用的时间
    appliedTime: '2024-06-19T09:21:34.215702958Z'
    # 上次成功应用的配置详情
    config:
      configTags:
        sls.crd.cluster: e2e-cluster-id
        sls.crd.kind: ClusterAliyunPipelineConfig
        sls.logtail.channel: CRD
      flushers:
        - Endpoint: cn-hangzhou.log.aliyuncs.com
          Logstore: k8s-file
          Region: cn-hangzhou
          TelemetryType: logs
          Type: flusher_sls
      inputs:
        - EnableContainerDiscovery: true
          FilePaths:
            - /data/logs/app_1/**/test.LOG
          Type: input_file
      name: example-k8s-file
    logstores:
      - appendMeta: true
        autoSplit: true
        encryptConf: {}
        maxSplitShard: 64
        name: k8s-file
        shardCount: 2
        ttl: 30
    machineGroups:
      - name: k8s-group-clusterid
    project:
      description: 'k8s log project, created by alibaba cloud log controller'
      endpoint: cn-hangzhou.log.aliyuncs.com
      name: k8s-log-clusterid

CRD-AliyunLogConfig

查看由AliyunLogConfig创建的iLogtail采集配置

您可以执行kubectl get aliyunlogconfigs命令进行查看，返回结果如下图所示。

image.png

查看由AliyunLogConfig创建的iLogtail采集配置的详细信息

您可以执行kubectl get aliyunlogconfigs <config_name> -o yaml命令进行查看。其中，<config_name>为AliyunLogConfig的名称，请根据实际情况替换。 返回结果如下图所示。

执行结果中的status字段和statusCode字段表示iLogtail采集配置的状态。

  • 如果statusCode字段的值为200，表示应用iLogtail采集配置成功。

  • 如果statusCode字段的值为非200，表示应用iLogtail采集配置失败。

image.png

查询分析已采集的日志

  1. 在Project列表中，单击目标Project，进入对应的Project详情页面。

    image

  2. 在对应的日志库右侧的图标图标，选择查询分析，查看Kubernetes集群输出的日志。

    image

问题排查

当您使用Logtail采集容器（标准容器、Kubernetes）日志遇到异常情况时，您可以参见如下内容进行排查。

上一篇：为Kubernetes和日志服务配置Log4JAppender下一篇：收集ACK托管集群控制面组件日志
文档推荐