文档

通过Sidecar方式采集Kubernetes容器文本日志

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志,可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。

工作原理

image

Sidecar模式

  • 在Sidecar模式中,每个容器组(Pod)运行一个Logtail容器,用于采集当前容器组(Pod)所有容器(Containers)的日志。不同Pod的日志采集相互隔离。

  • 为了采集同一Pod中其它容器的日志文件,需要通过共享存储卷的方式来完成,即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息,请参见Sidecar日志采集介绍Sidecar模式示例。存储卷的更多信息,请参见存储基础知识

Logtail采集配置的管理方式

通过控制台管理Logtail采集配置

操作步骤简单,不需连接Kubernetes集群,使用阿里云账号进行鉴权。

(推荐)通过CRD管理Logtail采集配置

通过CRD可以自定义Kubernetes资源,为了便于通过云原生方式管理Logtail采集配置,日志服务定义了AliyunLogConfig这种CRD,它基本等价于Logtail采集配置。用户可以向kube-apiserver提交YAML配置文件来创建AliyunLogConfig资源,从而创建相应的Logtail采集配置。这种配置方式需要连接Kubernetes集群,并额外使用Kubernetes鉴权。

警告

通过CRD方式创建的配置,在控制台上对其修改不会同步到CRD中。因此,如需修改由CRD创建的配置内容,只能修改CRD资源,不要直接在控制台操作,避免配置不一致。

通过CRD管理Logtail采集配置的工作原理

image
  1. 日志服务通过Deployment部署了一个控制器alibaba-log-controller,该控制器负责监听 AliyunLogConfig 资源的变化。

  2. 当用户通过kubectl或其他Kubernetes管理工具创建、更新或删除AliyunLogConfig资源时,alibaba-log-controller会监测到这些变化,然后根据资源配置文件中的内容和服务端Logtail采集配置的状态,自动向日志服务提交各种请求,如采集配置变更等。

前提条件

  • 已安装Logtail组件。具体操作,请参见安装Logtail组件(阿里云Kubernetes集群)

  • 在安装Logtail组件时所使用的Project中已创建Logstore。具体操作,请参见创建Logstore

  • 安装Logtail的主机需开放80(HTTP)端口和443(HTTPS)端口。ECS实例的端口由安全组规则控制,添加安全组规则的步骤请参见添加安全组规则

  • 目标容器持续新增日志。Logtail只采集增量日志。如果下发logtail采集配置后,日志文件无更新,则Logtail不会采集该文件中的日志。更多信息,请参见读取日志

  • 业务容器中待采集文件必须位于存储卷中,且该存储卷必须挂载到Logtail容器。

步骤一:为业务Pod注入Logtail容器

  1. 登录Kubernetes集群。

  2. 创建一个YAML文件。sidecar.yaml为文件的示例名称,请根据实际情况替换。

    vim sidecar.yaml
  3. 在YAML文件中输入如下脚本,并根据实际情况设置其中的参数。

    警告

    YAML模板中,所有带有${}的占位符都需要替换为您环境中实际的值,其他参数禁止改动、删除。

    YAML模板

    apiVersion: batch/v1
    kind: Job
    metadata:
      # 在这里添加 Job 元信息,比如 name 和 namespace
      name: ${job_name}
      namespace: ${namespace}
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
            # 业务容器
            - name: ${main_container_name}
              image: ${main_container_image}
              command: ["/bin/sh", "-c"]
              args:
                - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
                  # 替换为业务容器的实际启动命令
                  ${container_start_cmd};
                  retcode=$?;
                  touch /tasksite/tombstone;
                  exit $retcode
              volumeMounts:
                # 业务容器的日志目录挂载到共享存储卷
                - name: ${shared_volume_name}
                  mountPath: ${dir_containing_your_files}
                # 与 Logtail 容器交互的挂载点
                - mountPath: /tasksite
                  name: tasksite
             
            # Logtail sidecar 容器
            - name: logtail
              image: ${logtail_image}
              command: ["/bin/sh", "-c"]
              args:
                - /etc/init.d/ilogtaild start;
                  sleep 10; # 等待 Logtail 配置下载完成
                  touch /tasksite/cornerstone;
                  until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
                  sleep 10; # 等待 Logtail 完成日志发送
                  /etc/init.d/ilogtaild stop;
              livenessProbe:
                exec:
                  command:
                    - /etc/init.d/ilogtaild
                    - status
                initialDelaySeconds: 30
                periodSeconds: 30
              env:
                # 设置时区。请根据kubernetes集群所在地域,配置时区,格式为"地区/城市"。如果是中国大陆,可以设置时区为Asia/Shanghai。
                # 如果没有正确配置时区,可能导致原始日志与处理日志的时间标签不匹配,进而将日志数据归档到错误的时间点。
                - name: TZ   
                  value: "${timezone}"
                - name: ALIYUN_LOGTAIL_USER_ID
                  value: "${your_aliyun_user_id}"
                - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
                  value: "${your_machine_group_user_defined_id}"
                - name: ALIYUN_LOGTAIL_CONFIG
                  value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
                # 追加 Pod 环境信息作为日志标签
                - name: "ALIYUN_LOG_ENV_TAGS"
                  value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
                # 获取 Pod 和 Node 的信息
                - name: "_pod_name_"
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.name
                - name: "_pod_ip_"
                  valueFrom:
                    fieldRef:
                      fieldPath: status.podIP
                - name: "_namespace_"
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: "_node_name_"
                  valueFrom:
                    fieldRef:
                      fieldPath: spec.nodeName
                - name: "_node_ip_"
                  valueFrom:
                    fieldRef:
                      fieldPath: status.hostIP
              volumeMounts:
                # Logtail 容器的日志目录挂载到共享存储卷
                - name: ${shared_volume_name}
                  mountPath: ${dir_containing_your_files}
                # 与业务容器交互的挂载点
                - mountPath: /tasksite
                  name: tasksite
          volumes:
            # 定义空的共享存储卷用于日志存储
            - name: ${shared_volume_name}
              emptyDir: {}
            # 定义存储卷用于容器间通信
            - name: tasksite
              emptyDir:
                medium: Memory
    

    关键参数说明

    变量

    说明

    ${your_aliyun_user_id}

    设置为您的阿里云账号ID。更多信息,请参见配置用户标识

    ${your_machine_group_user_defined_id}

    自定义设置机器组的自定义标识,例如nginx-log-sidecar

    重要

    请确保该标识在您的Project所在地域内唯一。

    ${your_region_config}

    请根据日志服务Project所在地域和访问的网络类型填写。其中,地域信息请参见安装Logtail(Linux系统)

    • 如果使用公网采集日志,格式为region-internet,例如华东 1(杭州)cn-hangzhou-internet

    • 如果使用阿里云内网采集日志,格式为region。例如华东 1(杭州)cn-hangzhou

    ${logtail_image}

    Logtail镜像地址

    ${shared_volume_name}

    自定义设置卷的名称。

    重要

    volumeMounts节点下的name参数与volumes节点下的name参数需设置为一致,即确保Logtail容器和业务容器挂载相同的卷上。

    ${dir_containing_your_files}

    设置挂载路径,即容器待采集文本日志所在目录。

    示例

    apiVersion: batch/v1
    kind: Job
    metadata:
      # 在这里添加 Job 元信息,比如 name 和 namespace
      name: nginx-log-sidecar-demo
      namespace: default
    spec:
      template:
        metadata:
          # 在这里添加 Pod 元信息,比如 labels
          labels:
            app: nginx-logger
        spec:
          restartPolicy: Never
          containers:
            # 业务容器
            - name: nginx
              image: nginx-test
              command: ["/bin/sh", "-c"]
              args:
                - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
                  # 替换为业务容器的实际启动命令
                  nginx -g 'daemon off;';
                  retcode=$?;
                  touch /tasksite/tombstone;
                  exit $retcode
              volumeMounts:
                # 业务容器的日志目录挂载到共享存储卷
                - name: nginx-logs
                  mountPath: /var/log/nginx
                # 与 Logtail 容器交互的挂载点
                - mountPath: /tasksite
                  name: tasksite
              # 在这里定义业务容器的资源请求和限制
              resources:
                limits:
                  cpu: 500m
                  memory: 512Mi
                requests:
                  cpu: 10m
                  memory: 30Mi
            # Logtail sidecar 容器
            - name: logtail
              image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:v1.5.1.0-aliyun
              command: ["/bin/sh", "-c"]
              args:
                - /etc/init.d/ilogtaild start;
                  sleep 10; # 等待 Logtail 配置下载完成
                  touch /tasksite/cornerstone;
                  until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
                  sleep 10; # 等待 Logtail 完成日志发送
                  /etc/init.d/ilogtaild stop;
              livenessProbe:
                exec:
                  command:
                    - /etc/init.d/ilogtaild
                    - status
                initialDelaySeconds: 30
                periodSeconds: 30
              resources:
                limits:
                  cpu: 500m
                  memory: 512Mi
                requests:
                  cpu: 10m
                  memory: 30Mi
              env:
                # 设置时区。请根据kubernetes集群所在地域,配置时区,格式为"地区/城市"。如果是中国大陆,可以设置时区为Asia/Shanghai。
                # 如果没有正确配置时区,可能导致原始日志与处理日志的时间标签不匹配,进而将日志数据归档到错误的时间点。
                - name: TZ   
                  value: "Asia/Shanghai"
                # 在这里替换为实际的环境变量值
                - name: ALIYUN_LOGTAIL_USER_ID
                  value: "20*******28"
                - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
                  value: "nginx-log-sidecar"
                - name: ALIYUN_LOGTAIL_CONFIG
                  value: "/etc/ilogtail/conf/cn-hangzhou-internet/ilogtail_config.json"
                # 追加 Pod 环境信息作为日志标签
                - name: "ALIYUN_LOG_ENV_TAGS"
                  value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
                # 获取 Pod 和 Node 的信息
                - name: "_pod_name_"
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.name
                - name: "_pod_ip_"
                  valueFrom:
                    fieldRef:
                      fieldPath: status.podIP
                - name: "_namespace_"
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: "_node_name_"
                  valueFrom:
                    fieldRef:
                      fieldPath: spec.nodeName
                - name: "_node_ip_"
                  valueFrom:
                    fieldRef:
                      fieldPath: status.hostIP
              volumeMounts:
                # Logtail 容器的日志目录挂载到共享存储卷
                - name: nginx-logs
                  mountPath: /var/log/nginx
                # 与业务容器交互的挂载点
                - mountPath: /tasksite
                  name: tasksite
          volumes:
            # 定义空的共享存储卷用于日志存储
            - name: nginx-logs
              emptyDir: {}
            # 定义存储卷用于容器间通信
            - name: tasksite
              emptyDir:
                medium: Memory
    
  4. 执行如下命令使sidecar.yaml文件配置生效。

    sidecar.yaml为文件名,请根据实际情况替换。

    kubectl apply -f sidecar.yaml

步骤二:创建Logtail采集配置

警告

通过CRD方式创建的配置,在控制台上对其修改不会同步到CRD中。因此,如需修改由CRD创建的配置内容,只能修改CRD资源,禁止直接在控制台操作,避免导致配置不一致。

控制台

  1. 登录日志服务控制台

  2. 单击控制台右侧的快速接入数据区域,在对话框中单击Kubernetes-文件卡片。

    image

  3. 选择日志空间页面,按照选择目标Project和Logstore,单击下一步

    image

  4. 机器组配置页面。

    1. 单击K8s场景 > Sidecar页签。

      重要

      不同页签的后续配置步骤不同,必须正确选择。

    2. 确认目标机器组已在应用机器组列表中,然后单击下一步

      重要
      • 如果需要新建机器组,请单击创建机器组,按照右侧面板进行创建。机器组的更多信息,请参见机器组简介

      • 如果机器组心跳为FAIL,您可以单击重试。如果问题仍未解决,请参见Logtail机器组无心跳进行排查。

  5. 创建Logtail采集配置,单击下一步,创建Logtail采集配置。Logtail采集配置生效时间最长需要3分钟,请耐心等待。

    全局配置

    配置项

    说明

    配置名称

    Logtail配置名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。

    日志主题类型

    选择日志主题(Topic)的生成方式。更多信息,请参见日志主题

    • 机器组Topic:设置为机器组的Topic属性,用于明确区分不同机器组产生的日志。

    • 文件路径提取:设置为文件路径正则,则需要设置自定义正则,用正则表达式从路径里提取一部分内容作为Topic。用于区分不同源产生的日志。

    • 自定义:自定义日志主题。

    高级参数

    其它可选的与配置全局相关的高级功能参数,请参见创建Logtail流水线配置

    输入配置

    参数名称

    说明

    Logtail部署模式

    Logtail部署模式,选择Sidecar。

    文件路径

    • 如果目标容器是Linux系统,则日志路径必须以正斜线(/)开头,例如/apsara/nuwa/**/app.Log

    • 如果目标容器是Windows系统,则日志路径必须以盘符开头,例如C:\Program Files\Intel\**\*.Log

    目录名和文件名均支持完整模式和通配符模式,文件名规则请参见Wildcard matching。其中,日志路径通配符只支持星号(*)和半角问号(?)。

    日志文件查找模式为多层目录匹配,即符合条件的指定目录(包含所有层级的目录)下所有符合条件的文件都会被查找到。例如:

    • /apsara/nuwa/**/*.log表示/apsara/nuwa目录(包含该目录的递归子目录)中后缀名为.log的文件。

    • /var/logs/app_*/**/*.log表示/var/logs目录下所有符合app_*格式的目录(包含该目录的递归子目录)中后缀名为.log的文件。

    • /var/log/nginx/**/access*表示/var/log/nginx目录(包含该目录的递归子目录)中以access开头的文件。

    最大目录监控深度

    设置日志目录被监控的最大深度,即文件路径中通配符**匹配的最大目录深度。0代表只监控本层目录。

    警告

    请按最小需要原则配置目录监控深度,过大的目录深度导致Logtail占用更多的监控资源,造成日志采集延迟。

    文件编码

    日志文件的编码格式。

    首次采集大小

    配置首次生效时,匹配文件的起始采集位置距离文件结尾的大小。首次采集大小设定值为1024 KB。

    • 首次采集时,如果文件小于1024 KB,则从文件内容起始位置开始采集。

    • 首次采集时,如果文件大于1024 KB,则从距离文件末尾1024 KB的位置开始采集。

    您可以通过此处修改首次采集大小,取值范围为0~10485760,单位为KB。

    采集黑名单

    打开采集黑名单开关后,可进行黑名单配置,即可在采集时忽略指定的目录或文件。支持完整匹配和通配符匹配目录和文件名。其中,通配符只支持星号(*)和半角问号(?)。

    重要
    • 如果您在配置日志路径时使用了通配符,但又需要过滤掉其中部分路径,则需在采集黑名单中填写对应的完整路径来保证黑名单配置生效。

      例如您配置日志路径/home/admin/app*/log/*.log,但要过滤/home/admin/app1*目录下的所有子目录,则需选择目录黑名单,配置目录为/home/admin/app1*/** 。如果配置为/home/admin/app1*,黑名单不会生效。

    • 匹配黑名单过程存在计算开销,建议黑名单条目数控制在10条内。

    • 目录路径不能以正斜线(/)结尾,例如将设置路径为/home/admin/dir1/,目录黑名单不会生效。

    支持按照文件路径黑名单、文件黑名单、目录黑名单设置,详细说明如下:

    文件路径黑名单

    • 选择文件路径黑名单,配置路径为/home/admin/private*.log,则表示在采集时忽略/home/admin/目录下所有以private开头,以.log结尾的文件。

    • 选择文件路径黑名单,配置路径为/home/admin/private*/*_inner.log,则表示在采集时忽略/home/admin/目录下以private开头的目录内,以_inner.log结尾的文件。例如/home/admin/private/app_inner.log文件被忽略,/home/admin/private/app.log文件被采集。

    文件黑名单

    选择文件黑名单,配置文件名为app_inner.log,则表示采集时忽略所有名为app_inner.log的文件。

    目录黑名单

    • 选择目录黑名单,配置目录为/home/admin/dir1,则表示在采集时忽略/home/admin/dir1目录下的所有文件。

    • 选择目录黑名单,配置目录为/home/admin/dir*,则表示在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

    • 选择目录黑名单,配置目录为/home/admin/*/dir,则表示在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略,/home/admin/a/b/dir目录下的文件被采集。

    允许文件多次采集

    默认情况下,一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份,需打开允许文件多次采集开关。

    高级参数

    Logtail配置的部分参数需要手动输入,请参见创建Logtail流水线配置

    处理配置

    配置项

    说明

    日志样例

    待采集日志的样例,请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数,降低配置难度。支持添加多条样例,总长度不超过1500个字符。

    [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
        at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
        at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
        at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

    多行模式

    • 多行日志的类型:多行日志是指每条日志分布在连续的多行中,需要从日志内容中区分出每一条日志。

      • 自定义:通过行首正则表达式区分每一条日志。

      • 多行JSON:每个JSON对象被展开为多行,例如:

        {
          "name": "John Doe",
          "age": 30,
          "address": {
            "city": "New York",
            "country": "USA"
          }
        }
    • 切分失败处理方式:

      Exception in thread "main" java.lang.NullPointerException
          at com.example.MyClass.methodA(MyClass.java:12)
          at com.example.MyClass.methodB(MyClass.java:34)
          at com.example.MyClass.main(MyClass.java:½0)

      对于以上日志内容,如果日志服务切分失败:

      • 丢弃:直接丢弃这段日志。

      • 保留单行:将每行日志文本单独保留为一条日志,保留为一共四条日志。

    处理模式

    处理插件组合,包括原生插件拓展插件。有关处理插件的更多信息,请参见处理插件概述

    重要

    处理插件的使用限制,请以控制台页面的提示为准。

    • 低于2.0版本的Logtail:

      • 不支持同时添加原生插件和扩展插件。

      • 原生插件仅可用于采集文本日志。使用原生插件时,须符合如下要求:

        • 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

        • 第一个处理插件之后仅允许存在1个时间解析处理插件,1个过滤插件和多个脱敏插件。

      • 扩展处理插件只能出现在所有的原生处理插件之后,不能出现在任何原生处理插件之前。

    • 2.0版本的Logtail:

      • 原生处理插件可任意组合。

      • 原生处理插件和扩展处理插件可同时使用,但扩展处理插件只能出现在所有的原生处理插件之后。

  6. 创建索引预览数据,然后单击下一步。日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击自动生成索引,日志服务将自动生成字段索引。更多信息,请参见创建索引

    重要

    如果需要查询日志中的所有字段,建议使用全文索引。如果只需查询部分字段、建议使用字段索引,减少索引流量。如果需要对字段进行分析(SELECT语句),必须创建字段索引。

  1. 单击查询日志,系统将跳转至Logstore查询分析页面。

    您需要等待1分钟左右,待索引生效后,才能在原始日志页签中,查看已采集到的日志。查询和分析日志的详细步骤,请参见查询和分析日志

CRD

只需要定义AliyunLogConfig这个CRD资源即可创建Logtail配置。创建完成后,系统自动应用该Logtail配置。如果您要删除Logtail配置只需删除对应的CRD资源即可。

  1. 登录Kubernetes集群。

  2. 执行如下命令创建一个YAML文件。

    cube.yaml为文件名,请根据实际情况替换。

    vim cube.yaml
  3. 在YAML文件输入如下脚本,并根据实际情况设置其中的参数。

    重要
    • 请确保configName参数值在日志服务Project中唯一存在。

    • 如果多个CRD关联同一个Logtail配置,则删除或修改任意一个CRD均会影响到该Logtail配置,导致其他关联该Logtail配置的CRD状态与服务端不一致。

    • 通过Sidecar模式只能采集文本日志,需将dockerFile参数设置为false。

    apiVersion: log.alibabacloud.com/v1alpha1      # 使用默认值,无需修改。
    kind: AliyunLogConfig                          # 使用默认值,无需修改。
    metadata:
      name: simple-example                  # 设置资源名,在当前Kubernetes集群内唯一。
    spec:
      project: k8s-my-project                      # (可选)设置Project名称。默认值为安装Logtail组件时设置的Project。
      logstore: k8s                        # 设置Logstore名称。如果您所指定的Logstore不存在,日志服务会自动创建。
      logstoreMode: standard                       # (可选)设置Logstore类型,该参数值仅在新建Logstore时生效。
      machineGroups:                               # 设置机器组的名称,需与您在安装Sidecar时设置的${your_machine_group_user_defined_id}的值一致。Sidecar与CRD通过此处配置的机器组建立关联。
      - nginx-log-sidecar
      shardCount: 2                                # (可选)设置Shard数量。默认值为2,取值范围1~10。
      lifeCycle: 90                                # (可选)设置Logstore中数据的存储时间。默认值为90,取值范围为1~3650。其中,3650天为永久存储。
      logtailConfig:                               # 设置Logtail配置。
        inputType: file                            # 设置采集的数据源类型,通过Sidecar-CRD方式只支持采集文本日志,即需要设置为file。
        configName: simple-example          # 设置Logtail配置名称,与资源名(metadata.name)保持一致。
        inputDetail:                               # 设置Logtail配置的详细信息,具体配置请参见本文下方的示例。
        ...

    参数说明

    参数

    数据类型

    是否必填

    说明

    project

    string

    Project名称。默认为安装Logtail组件时设置的Project。

    logstore

    string

    Logstore名称。

    如果您所指定的Logstore不存在,日志服务会自动创建。

    logstoreMode

    string

    Logstore类型。更多信息,请参见管理Logstore。可选值:

    • query:查询型Logstore。

    • standard:标准型Logstore。

    重要
    • 该参数值仅在新建Logstore时生效,即您只能在创建Logstore时,指定Logstore类型。如果您在logstore参数中指定的Logstore已存在,则修改该参数值,不会生效。

    • 针对alibaba-log-controller 0.3.3及以上版本,该设置才会生效。

    shardCount

    int

    Shard数量。默认值为2,取值范围为1~10。

    lifeCycle

    int

    Logstore中数据的存储时间。默认值为90,取值范围为1~3650。其中,3650天为永久存储。

    重要

    该参数值仅在新建Logstore时生效,即您只能在创建Logstore时指定数据的存储时间。如果您在logstore参数中指定的Logstore已存在,则修改该参数值不会生效。

    machineGroups

    array

    机器组。安装Logtail组件时,日志服务会自动创建名为k8s-group-${your_k8s_cluster_id}的机器组。

    logtailConfig

    object

    • 详细的参数说明请参见Logtail配置。配置示例请参见文末的CRD配置示例

    • Logtail版本

      • Logtail 1.0.34以下版本,只支持通过环境变量容器Label进行容器过滤。

      • Logtail 1.0.34及以上版本,推荐使用Kubernetes层级的信息(Pod名称Namespace容器名称容器Label等)进行容器过滤。

    • 过滤条件说明

      重要
      1. Kubernetes中的Namespace和容器名称会映射到容器Label中,分别为io.kubernetes.pod.namespaceio.kubernetes.container.name,推荐使用这两个容器Label进行容器过滤。例如,某Pod所属的命名空间为backend-prod,容器名为worker-server,如果您要采集包含该容器的日志,可以设置容器Label白名单为io.kubernetes.pod.namespace : backend-prodio.kubernetes.container.name : worker-server

      2. 如果以上两个容器Label不满足过滤需求,请使用环境变量的黑白名单进行容器过滤。

  4. 执行如下命令使Logtail配置生效。

    cube.yaml为文件名,请根据实际情况替换。

    kubectl apply -f cube.yaml

    创建Logtail配置后,您可以通过CRD方式或控制台方式查看Logtail配置。具体操作,请参见查看Logtail配置

    重要

    采集到日志后,您需要先创建索引,才能在Logstore中查询和分析日志。具体操作,请参见创建索引

查看Logtail采集配置

控制台

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 日志存储 > 日志库页签中,单击目标日志库前面的>,依次选择数据接入 > Logtail配置

  4. 单击目标Logtail采集配置,查看Logtail采集配置详情。

CRD

查看当前Kubernetes集群中所有的Logtail采集配置

您可以执行kubectl get aliyunlogconfigs命令进行查看,返回结果如下图所示。查看Logtail采集配置

查看Logtail采集配置的详细信息和状态

您可以执行kubectl get aliyunlogconfigs config_name -o yaml命令进行查看。其中,config_name为Logtail配置的名称,请根据实际情况替换。 返回结果如下图所示。

执行结果中的status字段和statusCode字段表示Logtail配置的状态。

  • 如果statusCode字段的值为200,表示应用Logtail配置成功。

  • 如果statusCode字段的值为非200,表示应用Logtail配置失败。

查看logtail采集配置

查询分析已采集的日志

  1. Project列表中,单击目标Project,进入对应的Project详情页面。

    image

  2. 在对应的日志库右侧的图标图标,选择查询分析,查看Kubernetes集群输出的日志。

    image

问题排查

当您使用Logtail采集容器(标准容器、Kubernetes)日志遇到异常情况时,您可以参见如下内容进行排查。

  • 本页导读 (1)