采集阿里云ACK集群文本日志（DaemonSet方式部署Logtail）

您只需要创建AliyunPipelineConfig自定义资源即可创建Logtail采集配置，资源创建完成后自动生效。

1. 登录容器服务管理控制台。

2. 在左侧导航栏中，单击集群列表。

3. 在集群列表页面中，单击目标集群操作列下的更多，然后单击管理集群。

4. 创建名为example-k8s-file.yaml的文件。

   您可用采集配置生成器生成目标场景YAML脚本，或参考如下示例手动编写。

   以下示例YAML文件以多行文本模式采集default命名空间下，标签为app: ^(.*test.*)$的Pod中/data/logs/app_1路径下的test.LOG文件内容，并将其发送到名为k8s-log-test的Project中的名为k8s-file（自动创建）的Logstore。您需根据实际情况修改YAML中的以下参数：

   1. project，示例：k8s-log-test。

      登录日志服务控制台，确定您安装的Logtail生成的Project的名称，通常格式为k8s-log-<YOUR_CLUSTER_ID>。

   2. IncludeK8sLabel，示例：app: ^(.*test.*)$。用于筛选目标Pod的标签，当前条件指定标签键为app，值中包含test的Pod会被采集。

      说明

      如果需要采集集群中名称包含test的所有Pod，可以将IncludeK8sLabel替换为K8sContainerRegex，并使用通配符配置值，如：K8sContainerRegex: ^(.test.)$。

   3. FilePaths，示例：/data/logs/app_1/**/test.LOG。更多详情请参见容器文件路径映射。

   4. Endpoint和Region，示例：cn-hangzhou.log.aliyuncs.com和cn-hangzhou。

   有关YAML文件中config项的详情，包括支持的输入、输出、处理插件类型和容器过滤方式，请参见PipelineConfig。完整的YAML参数详情请参见CR参数说明。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的Logtail采集配置名，如果名称重复则不会生效。
     name: example-k8s-file
   spec:
     # 指定目标Project
     project:
       name: k8s-log-test
     logstores:
       # 创建名为 k8s-file的Logstore
       - name: k8s-file
     # 定义Logtail采集配置
     config:
       # 日志样例（可不填写）
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 定义输入插件
       inputs:
         # 使用input_file插件采集容器内多行文本日志
         - Type: input_file
           # 容器内的文件路径
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # 启用容器发现功能。
           EnableContainerDiscovery: true
           # 添加容器信息过滤条件，多个选项之间为“且”的关系。
           CollectingContainersMeta: true
           ContainerFilters:
             # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
             K8sNamespaceRegex: default
             # 指定待采集容器的名称，支持正则匹配。
             IncludeK8sLabel:
               app: ^(.*app.*)$
           # 开启多行日志采集，单行日志采集请删除该配置
           Multiline:
             # 选择自定义行首正则表达式模式
             Mode: custom
             # 配置行首正则表达式
             StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
       # 定义处理插件
       processors:
         # 使用正则解析插件解析日志
         - Type: processor_parse_regex_native
           # 源字段名
           SourceKey: content
           # 解析用的正则表达式，用捕获组"()"捕获待提取的字段
           Regex: (\d+-\d+-\d+\s\S+)(.*)
           # 提取的字段列表
           Keys: ["time", "detail"]
       # 定义输出插件
       flushers:
         # 使用flusher_sls插件输出到指定Logstore。
         - Type: flusher_sls
           # 需要确保该 Logstore 存在
           Logstore: k8s-file
           # 需要确保 endpoint 正确
           Endpoint: cn-beijing.log.aliyuncs.com
           Region: cn-beijing
           TelemetryType: logs

5. 执行kubectl apply -f example-k8s-file.yaml，Logtail开始采集Pod中的文本日志并发送到日志服务中。

您只需要创建AliyunLogConfig自定义资源即可创建Logtail采集配置，创建完成后自动生效。

1. 登录容器服务管理控制台。

2. 在左侧导航栏中，单击集群列表。

3. 在集群列表页面中，单击目标集群操作列下的更多，然后单击管理集群。

4. 创建名为example-k8s-file.yaml的文件。

   该YAML脚本将创建名为example-k8s-file的Logtail采集配置，并对集群内名称开头为app的所有容器，以极简文本模式采集/data/logs/app_1路径下的test.LOG文件内容，发送到名为k8s-log-<YOUR_CLUSTER_ID>的Project中的名为k8s-file（自动创建）的Logstore。

   您需根据实际情况修改示例中容器内文件路径，更多详情请参见容器文件路径映射。

   • logPath：采集日志路径。示例：/data/logs/app_1。

   • filePattern：采集日志文件名称。示例：test.LOG。

   有关YAML文件中的logtailConfig项提供的Logtail的详情，如支持的输入，输出，处理插件类型与容器过滤方式等，请参见AliyunLogConfigDetail，完整的YAML参数详情请参见CR参数说明。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: example-k8s-file
     # 设置资源所在命名空间。
     namespace: kube-system
   spec:
     # 设置目标project名称（可不填写，默认为k8s-log-<your_cluster_id>）
     # project: k8s-log-test
     # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-file
     # 设置Logtail采集配置。
     logtailConfig:
       # 设置采集的数据源类型。采集文本日志时，需设置为file。
       inputType: file
       # 设置Logtail采集配置的名称，必须与metadata.name一致。
       configName: example-k8s-file
       inputDetail:
         # 指定通过极简模式采集文本日志。
         logType: common_reg_log
         # 设置日志文件所在路径。
         logPath: /data/logs/app_1
         # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
         filePattern: test.LOG
         # 采集容器的文本日志时，需设置dockerFile为true。
         dockerFile: true
         # 开启多行日志采集 单行日志采集删除该配置
         # 行首正则表达式，以该正则表示一行日志的开始
         logBeginRegex: \d+-\d+-\d+.*
         #设置容器过滤条件。
         advanced:
           k8s:
             K8sPodRegex: '^(app.*)$'

5. 执行kubectl apply -f example-k8s-file.yaml，Logtail开始采集Pod上的文本日志，并发送到日志服务中。

1. 登录日志服务控制台。

2. 选择Project列表中您在安装Logtail组件时所使用的Project，如k8s-log-<your_cluster_id>。在Project页面中单击目标Logstore后，单击Logstore下的Logtail配置，添加Logtail配置，并单击Kubernetes-文件的立即接入。

3. 在机器组配置页面K8s场景的ACK Daemonset方式下勾选k8s-group-${your_k8s_cluster_id}机器组并单击>添加到应用机器组，单击下一步。

4. 创建Logtail采集配置，按下文填写必须配置后单击下一步即可，Logtail采集配置生效大概需要1分钟，请耐心等待。

   此处仅介绍主要配置，详细配置请参见Logtail采集配置。

   • 全局配置

     在全局配置中输入配置名称。

     

   • 输入配置

     • Logtail部署模式：选择DaemonSet。

     • 文件路径类型：选择待采集的文件路径是容器内路径或宿主机路径。对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。

     • 文件路径：代表日志采集的路径，日志路径必须以正斜线（/）开头，例如下图/data/wwwlogs/main/**/*.Log表示/data/wwwlogs/main目录下后缀名为.Log的文件。如果需要设置日志目录被监控的最大深度，即文件路径中通配符**匹配的最大目录深度。可以修改最大目录监控深度的取值，0代表只监控本层目录。

5. 创建索引和预览数据：日志服务默认开启全文索引，此时查询会索引日志中所有字段。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将生成字段索引，通过此索引针对特定字段进行精确查询，从而减少索引费用并提高查询效率。更多信息请参见创建索引。

1. 创建应用时配置日志服务。

   通过容器控制台配置

   通过YAML模板

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

   3. 在无状态页面，单击使用镜像创建。

   4. 在应用基本信息页签，设置应用名称，单击下一步，进入容器配置页面，设置镜像名称。

      以下仅介绍日志服务相关的配置。关于其他的应用配置，请参见创建无状态工作负载Deployment。

   5. 在日志配置区域，配置日志相关信息。

      1. 设置采集配置。

         单击采集配置创建新的采集配置，每个采集配置由日志库和容器内日志路径两项构成。

         • 日志库：配置Logstore名称，用于指定所采集的日志存储于该Logstore。如果该Logstore不存在，ACK将会自动为您在集群关联的日志服务Project下创建相应的Logstore。

           说明

           新创建的Logstore中的日志默认保存时间为90天。

         • 容器内日志路径：指定希望采集的日志所在的路径，例如使用/usr/local/tomcat/logs/catalina.*.log来采集Tomcat的文本日志。

           每一项采集配置都会被自动创建为对应Logstore的一个采集配置，默认采用极简模式（按行）进行采集。

      2. 设置自定义Tag。

         单击自定义Tag创建新的自定义Tag，每一个自定义Tag都是一个键值对，会拼接到所采集到的日志中，您可以使用它来为容器的日志数据进行标记，例如版本号。

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

   3. 在无状态页面上方的命名空间下拉框中设置命名空间，然后单击页面右上角的使用YAML创建资源。

   4. 配置YAML文件。

      YAML模板的语法同Kubernetes语法，但是为了给容器指定采集配置，需要使用env来为容器增加采集配置和自定义Tag，并根据采集配置，创建对应的volumeMounts和volumes。以下是一个简单的Pod示例：

      apiVersion: v1
      kind: Pod
      metadata:
        name: my-demo
      spec:
        containers:
        - name: my-demo-app
          image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
          env:
          # 配置环境变量
          - name: aliyun_logs_log-varlog
            value: /var/log/*.log
          - name: aliyun_logs_mytag1_tags
            value: tag1=v1
          # 配置volume mount
          volumeMounts:
          - name: volumn-sls-mydemo
            mountPath: /var/log
          # 如果Pod不断重启，启动参数可以添加sleep
          command: ["sh", "-c"]  # 使用 shell 来运行命令
          args: ["sleep 3600"]   # 设置休眠时间为 1 小时（3600 秒）
        volumes:
        - name: volumn-sls-mydemo
          emptyDir: {}

      1. 通过环境变量来创建您的采集配置和自定义Tag，所有与配置相关的环境变量都采用aliyun_logs_作为前缀。

         • 创建采集配置的规则如下：

           - name: aliyun_logs_log-varlog
             value: /var/log/*.log                        

           示例中创建了一个采集配置，格式为aliyun_logs_{key}，对应的{key}为log-varlog。

           • aliyun_logs_log-varlog：该env表示创建一个Logstore名为log-varlog，日志采集路径为/var/log/*.log的配置，对应的日志服务采集配置名称也是log-varlog，目的是将容器的/var/log/*.log文件内容采集到log-varlog这个Logstore中。

         • 创建自定义Tag的规则如下：

           - name: aliyun_logs_mytag1_tags
             value: tag1=v1                       

           配置Tag后，当采集到该容器的日志时，会自动附加对应的字段到日志服务。其中mytag1为任意不包含'_'的名称。

      2. 如果您的采集配置中指定了非stdout的采集路径，需要在此部分创建相应的volumeMounts。

         示例中采集配置添加了对/var/log/*.log的采集，因此相应地添加了/var/log的volumeMounts。

   5. 当YAML编写完成后，单击创建，即可将相应的配置交由Kubernetes集群执行。

2. 配置环境变量的高级参数。

   通过容器环境变量配置采集支持多种配置参数。您可以根据实际需求设置高级参数，以满足日志采集的特殊需求。

   重要

   通过容器环境变量配置采集日志的方式不适用于边缘场景。

   字段	说明	示例	注意事项
   aliyun_logs_{key}	必选项。{key}只能包含小写字母、数字和-。 若不存在aliyun_logs_{key}_logstore，则默认创建并采集到名为{key}的logstore。 当值为stdout时表示采集容器的标准输出；其他值为容器内的日志路径。	- name: aliyun_logs_catalina value: stdout - name: aliyun_logs_access-log value: /var/log/nginx/access.log	默认采集方式为极简模式。如需解析日志内容，建议使用日志服务控制台，或者CRD进行配置。 {key}表示日志服务中Logtail采集配置的名称，需保持在K8s集群内唯一。
   aliyun_logs_{key}_tags	可选。值为{tag-key}={tag-value}类型，用于对日志进行标识。	- name: aliyun_logs_catalina_tags value: app=catalina	不涉及。
   aliyun_logs_{key}_project	可选。值为指定的日志服务Project。当不存在该环境变量时，为您安装时所选的Project。	- name: aliyun_logs_catalina_project value: my-k8s-project	Project需与您的Logtail工作所在的Region一致。
   aliyun_logs_{key}_logstore	可选。值为指定的日志服务Logstore。当不存在该环境变量时，Logstore和{key}一致。	- name: aliyun_logs_catalina_logstore value: my-logstore	不涉及。
   aliyun_logs_{key}_shard	可选。值为创建Logstore时的shard数，取值范围为[1 , 10]。当不存在该环境变量时，值为2。 说明 若logstore已经存在，则该参数不生效。	- name: aliyun_logs_catalina_shard value: '4'	不涉及。
   aliyun_logs_{key}_ttl	可选。值为指定的日志保存时间，取值范围为[1 , 3650]。 当取值为3650时，指定日志的保存时间为永久保存。 当不存在该环境变量时，默认指定日志的保存时间为90天。 说明 若Logstore已经存在，则该参数不生效。	- name: aliyun_logs_catalina_ttl value: '3650'	不涉及。
   aliyun_logs_{key}_machinegroup	可选。值为应用的机器组。当不存在该环境变量时与安装Logtail的默认机器组一致。关于该参数的详细使用方法，请参见下文的采集阿里云ACK集群文本日志（DaemonSet方式部署Logtail）。	- name: aliyun_logs_catalina_machinegroup value: my-machine-group	不涉及。
   aliyun_logs_{key}_logstoremode	可选。值为指定的日志服务Logstore的类型，不指定该参数的话，默认值为standard，取值： 说明 若Logstore已经存在，则该参数不生效。 standard：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。 query：支持高性能查询，索引流量费用约为standard的一半，但不支持SQL分析，适用于数据量大、存储周期长（周、月级别以上）、无日志分析的场景。	- name: aliyun_logs_catalina_logstoremode value: standard - name: aliyun_logs_catalina_logstoremode value: query	该参数需要logtail-ds镜像版本>=1.3.1。

   • 定制需求1：将多个应用数据采集到同一Logstore

     如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。

     示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。

     应用1设置的环境变量为：

     # 配置环境变量
         - name: aliyun_logs_app1-stdout
           value: stdout
         - name: aliyun_logs_app1-stdout_logstore
           value: stdout-logstore

     应用2设置的环境变量为：

     # 配置环境变量
         - name: aliyun_logs_app2-stdout
           value: stdout
         - name: aliyun_logs_app2-stdout_logstore
           value: stdout-logstore

   • 定制需求2：将不同应用数据采集到不同的Project

     如果您需要将不同应用的数据采集到多个Project中，您需要进行以下操作：

     1. 在每个Project中创建一个机器组，选择自定义标识，标识名为k8s-group-{cluster-id}，其中{cluster-id}为您的集群ID，机器组名称可以自定义配置。

     2. 在每个应用的环境变量中配置project、logstore、machinegroup信息，其中机器组名称为您在上一步创建的机器组名称。

        如下示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。其中如果两个应用在同一个K8s集群中，对应的machinegroup可以使用同一个machinegroup。

        应用1设置的环境变量为：

        # 配置环境变量
            - name: aliyun_logs_app1-stdout
              value: stdout
            - name: aliyun_logs_app1-stdout_project
              value: app1-project
            - name: aliyun_logs_app1-stdout_logstore
              value: app1-logstore
            - name: aliyun_logs_app1-stdout_machinegroup
              value: app1-machine-group

        应用2设置的环境变量为：

        # 应用2 配置环境变量
            - name: aliyun_logs_app2-stdout
              value: stdout
            - name: aliyun_logs_app2-stdout_project
              value: app2-project
            - name: aliyun_logs_app2-stdout_logstore
              value: app2-logstore
            - name: aliyun_logs_app2-stdout_machinegroup
              value: app1-machine-group