采集阿里云ACK集群标准输出（DaemonSet方式部署Logtail）

CRD-AliyunPipelineConfig（推荐）

您只需要创建AliyunPipelineConfig自定义资源即可创建Logtail采集配置，资源创建完成后自动生效。

1. 登录容器服务管理控制台。

2. 在左侧导航栏中，单击集群列表。

3. 在集群列表页面中，单击目标集群的详情后选择连接信息页签。

4. 单击右上角通过Workbench管理集群。

5. 新建一个YAML文件，并按实际情况修改后使用如下示例脚本：

   该YAML将创建名为example-k8s-file的Logtail采集配置，并对集群内名称包含app的所有容器，以多行模式采集标准输出，发送到名为k8s-log-test的Project中的名为k8s-stdout的Logstore。

   您需要修改示例中的Project，例如登录日志服务控制台，使用安装Logtail时在日志服务中为您生成的名为k8s-log-<your_cluster_id>的project。如果您希望自定义YAML文件内容，请参考CR参数说明详细了解AliyunPipelineConfig自定义资源的参数。如果您对YAML文件中的config项提供的Logtail采集配置详情感兴趣，如支持的输入，输出，处理插件类型与容器过滤方式等，请参考PiplineConfig。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # 创建一个 ClusterAliyunPipelineConfig
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的Logtail采集配置名。如果名称重复则不会生效。
     name: example-k8s-file
   spec:
     # 指定目标project
     project:
       name: k8s-log-test
     # 创建用于存储日志的 Logstore
     logstores:
       - name: k8s-stdout
     # 定义Logtail采集配置
     config:
       # 日志样例（可不填写）
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 定义输入插件
       inputs:
             # 使用service_docker_stdout插件采集容器内文本日志
         - Type: service_docker_stdout
           Stdout: true
           Stderr: true
           # 配置容器信息过滤条件，多个选项之间为“且”的关系。
           # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
           K8sNamespaceRegex: "^(default)$"
           # 指定待采集容器的名称，支持正则匹配。
           K8sContainerRegex: "^(.*app.*)$"
           # 配置多行切分配置 单行日志采集无效配置
           # 配置行首正则表达式
           BeginLineRegex: \d+-\d+-\d+.*
       # 定义输出插件
       flushers:
         # 使用flusher_sls插件输出到指定Logstore。
         - Type: flusher_sls
           # 需要确保该 Logstore 存在
           Logstore: k8s-stdout
           # 需要确保 endpoint 正确
           Endpoint: cn-hangzhou.log.aliyuncs.com
           Region: cn-hangzhou
           TelemetryType: logs

6. 执行kubectl apply -f example.yaml，其中example.yaml替换为您创建的 YAML 文件名称，Logtail开始采集容器内的标准输出，并发送到日志服务中。

CRD-AliyunLogConfig

您只需要创建AliyunLogConfig自定义资源即可创建Logtail采集配置，创建完成后自动生效。

1. 登录容器服务管理控制台。

2. 在左侧导航栏中，单击集群列表。

3. 在集群列表页面中，单击目标集群的详情后选择连接信息页签。

4. 点击右上角通过Workbench管理集群。

5. 在Workbench中新建一个YAML文件，并按实际情况修改后使用如下示例脚本：

   该YAML脚本将创建名为simple-stdout-example的Logtail采集配置，并对集群内名称开头为app的所有容器，以多行模式采集标准输出，发送到名为k8s-log-<your_cluster_id>的Project中的名为k8s-stdout的Logstore。

   如果您希望自定义YAML文件内容，请参考CR参数说明详细了解AliyunLogConfig自定义资源的参数。如果您对于YAML文件中的logtailConfig项提供的Logtail采集配置详情感兴趣，如支持的输入，输出，处理插件类型与容器过滤方式等，请参考AliyunLogConfigDetail。

   # 标准输出配置
   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: simple-stdout-example
   spec:
     # 设置目标project名称（可不填写，默认为k8s-log-<your_cluster_id>）
     # project: k8s-log-test
     # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-stdout
     # 设置Logtail采集配置。
     logtailConfig:
       # 设置采集的数据源类型。采集标准输出时，需设置为plugin。
       inputType: plugin
       # 设置Logtail采集配置的名称，必须与资源名(metadata.name)相同。
       configName: simple-stdout-example
       inputDetail:
         plugin:
           inputs:
             - type: service_docker_stdout
               detail:
                 # 指定采集stdout和stderr。
                 Stdout: true
                 Stderr: true
                 # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
                 K8sNamespaceRegex: "^(default)$"
                 # 指定待采集容器的名称，支持正则匹配。
                 K8sContainerRegex: "^(app.*)$"
                 # 配置多行切分配置
                 # 配置行首正则表达式
                 BeginLineRegex: \d+-\d+-\d+.*
                 

6. 执行kubectl apply -f example.yaml，其中example.yaml替换为您创建的 YAML 文件名称，Logtail开始采集容器内的标准输出，并发送到日志服务中。

日志服务控制台

1. 登录日志服务控制台。

2. 选择Project列表中您在安装Logtail组件时所使用的Project，如k8s-log-<your_cluster_id>。在Project页面中点击目标Logstore的Logtail配置，添加Logtail配置，并单击Kubernetes-标准输出-旧版的立即接入。

3. 由于上一步骤中已为ACK集群安装Logtail组件，请单击使用现有机器组。

4. 在机器组配置页面K8s场景的ACK Daemonset方式下勾选k8s-group-${your_k8s_cluster_id}机器组并单击>添加到应用机器组中，点击下一步。

5. 创建Logtail采集配置，按下文填写必须配置后点击下一步即可，Logtail采集配置生效大概需要1分钟，请耐心等待。

   此处仅介绍必须配置，详细配置请参见Logtail采集配置。

   • 全局配置

     在全局配置中输入配置名称。

     

6. 创建索引和预览数据：日志服务默认开启全文索引，此时查询会索引日志中所有字段。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将生成字段索引，通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。更多信息请参见创建索引。

环境变量

1. 创建应用时配置日志服务。

   通过控制台配置

   1. 登录容器服务管理控制台，在左侧导航栏选择集群。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

   3. 在无状态页面上方的命名空间下拉框中设置命名空间，然后单击页面右上角的使用镜像创建。

   4. 在应用基本信息页签，设置应用名称，单击下一步，进入容器配置页面。

      以下仅介绍日志服务相关的配置。关于其他的应用配置，请参见创建无状态工作负载Deployment。

   5. 在日志配置区域，配置日志相关信息。

      1. 设置采集配置。

         单击+图标创建新的采集配置，每个采集配置由日志库和容器内日志路径两项构成。

         • 日志库：配置Logstore名称，用于指定所采集的日志存储于该Logstore。如果该Logstore不存在，ACK将会自动为您在集群关联的日志服务Project下创建相应的Logstore。

           说明

           新创建的Logstore中的日志默认保存时间为90天。

         • 容器内日志路径：指定为stdout时，表示采集容器的标准输出和标准错误输出。

           

           每一项采集配置都会被自动创建为对应Logstore的一个采集配置，默认采用极简模式（按行）进行采集。

      2. 设置自定义Tag。

         单击+图标创建新的自定义Tag，每一个自定义Tag都是一个键值对，会拼接到所采集到的日志中，您可以使用它来为容器的日志数据进行标记，例如版本号。

         

   6. 当完成所有配置后，可单击右上角的下一步进入后续流程。

      后续操作，可参见创建无状态工作负载Deployment。

   通过YAML模板

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

   3. 在无状态页面上方的命名空间下拉框中设置命名空间，然后单击页面右上角的使用YAML创建资源。

   4. 配置YAML文件。

      YAML模板的语法同Kubernetes语法，但是为了给容器指定采集配置，需要使用env来为容器增加采集配置和自定义Tag，并根据采集配置，创建对应的volumeMounts和volumes。以下是一个简单的Pod示例：

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        annotations:
          deployment.kubernetes.io/revision: '1'
        labels:
          app: deployment-stdout
          cluster_label: CLUSTER-LABEL-A
        name: deployment-stdout
        namespace: default
      spec:
        progressDeadlineSeconds: 600
        replicas: 1
        revisionHistoryLimit: 10
        selector:
          matchLabels:
            app: deployment-stdout
        strategy:
          rollingUpdate:
            maxSurge: 25%
            maxUnavailable: 25%
          type: RollingUpdate
        template:
          metadata:
            labels:
              app: deployment-stdout
              cluster_label: CLUSTER-LABEL-A
          spec:
            containers:
              - args:
                  - >-
                    while true; do date '+%Y-%m-%d %H:%M:%S'; echo 1; echo 2; echo 3;
                    echo 4; echo 5; echo 6; echo 7; echo 8; echo 9; 
                    sleep 10; done
                command:
                  - /bin/sh
                  - '-c'
                  - '--'
                env:
                  - name: cluster_id
                    value: CLUSTER-A
                  - name: aliyun_logs_log-stdout
                    value: stdout
                image: 'mirrors-ssl.aliyuncs.com/busybox:latest'
                imagePullPolicy: IfNotPresent
                name: timestamp-test
                resources: {}
                terminationMessagePath: /dev/termination-log
                terminationMessagePolicy: File
            dnsPolicy: ClusterFirst
            restartPolicy: Always
            schedulerName: default-scheduler
            securityContext: {}
            terminationGracePeriodSeconds: 30

      1. 通过环境变量来创建您的采集配置和自定义Tag，所有与配置相关的环境变量都采用aliyun_logs_作为前缀。

         • 创建采集配置的规则如下：

           - name: aliyun_logs_log-varlog
             value: /var/log/*.log                        

           示例中创建了一个采集配置，格式为aliyun_logs_{key}，对应的{key}为log-varlog。

           • aliyun_logs_log-varlog：该env表示创建一个Logstore名为log-varlog，日志采集路径为/var/log/*.log的配置，对应的日志服务采集配置名称也是log-varlog，目的是将容器的/var/log/*.log文件内容采集到log-varlog这个Logstore中。

         • 创建自定义Tag的规则如下：

           - name: aliyun_logs_mytag1_tags
             value: tag1=v1                       

           配置Tag后，当采集到该容器的日志时，会自动附加对应的字段到日志服务。其中mytag1为任意不包含'_'的名称。

      2. 如果您的采集配置中指定了非stdout的采集路径，需要在此部分创建相应的volumeMounts。

         示例中采集配置添加了对/var/log/*.log的采集，因此相应地添加了/var/log的volumeMounts。

   5. 当YAML编写完成后，单击创建，即可将相应的配置交由Kubernetes集群执行。

2. 配置环境变量的高级参数。

   通过容器环境变量配置采集支持多种配置参数。您可以根据实际需求设置高级参数，以满足日志采集的特殊需求。

   重要

   通过容器环境变量配置采集日志的方式不适用于边缘场景。

   字段	说明	示例	注意事项
   aliyun_logs_{key}	必选项。{key}只能包含小写字母、数字和-。 若不存在aliyun_logs_{key}_logstore，则默认创建并采集到名为{key}的logstore。 当值为stdout时表示采集容器的标准输出；其他值为容器内的日志路径。	- name: aliyun_logs_catalina value: stdout - name: aliyun_logs_access-log value: /var/log/nginx/access.log	默认采集方式为极简模式。如需解析日志内容，建议使用日志服务控制台，并参见通过DaemonSet方式采集Kubernetes容器文本日志或通过DaemonSet方式采集Kubernetes容器标准输出（旧版）进行配置。 {key}表示日志服务中Logtail采集配置的名称，需保持在K8s集群内唯一。
   aliyun_logs_{key}_tags	可选。值为{tag-key}={tag-value}类型，用于对日志进行标识。	- name: aliyun_logs_catalina_tags value: app=catalina	不涉及。
   aliyun_logs_{key}_project	可选。值为指定的日志服务Project。当不存在该环境变量时，为您安装时所选的Project。	- name: aliyun_logs_catalina_project value: my-k8s-project	Project需与您的Logtail工作所在的Region一致。
   aliyun_logs_{key}_logstore	可选。值为指定的日志服务Logstore。当不存在该环境变量时，Logstore和{key}一致。	- name: aliyun_logs_catalina_logstore value: my-logstore	不涉及。
   aliyun_logs_{key}_shard	可选。值为创建Logstore时的shard数，取值范围为[1 , 10]。当不存在该环境变量时，值为2。 说明 若logstore已经存在，则该参数不生效。	- name: aliyun_logs_catalina_shard value: '4'	不涉及。
   aliyun_logs_{key}_ttl	可选。值为指定的日志保存时间，取值范围为[1 , 3650]。 当取值为3650时，指定日志的保存时间为永久保存。 当不存在该环境变量时，默认指定日志的保存时间为90天。 说明 若Logstore已经存在，则该参数不生效。	- name: aliyun_logs_catalina_ttl value: '3650'	不涉及。
   aliyun_logs_{key}_machinegroup	可选。值为应用的机器组。当不存在该环境变量时与安装Logtail的默认机器组一致。关于该参数的详细使用方法，请参见下文的定制需求2：将不同应用数据采集到不同的Project。	- name: aliyun_logs_catalina_machinegroup value: my-machine-group	不涉及。
   aliyun_logs_{key}_logstoremode	可选。值为指定的日志服务Logstore的类型，不指定该参数的话，默认值为standard，取值： 说明 若Logstore已经存在，则该参数不生效。 standard：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。 query：支持高性能查询，索引流量费用约为standard的一半，但不支持SQL分析，适用于数据量大、存储周期长（周、月级别以上）、无日志分析的场景。	- name: aliyun_logs_catalina_logstoremode value: standard - name: aliyun_logs_catalina_logstoremode value: query	该参数需要logtail-ds镜像版本>=1.3.1。

   • 定制需求1：将多个应用数据采集到同一Logstore

     如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。

     示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。

     应用1设置的环境变量为：

     # 配置环境变量
         - name: aliyun_logs_app1-stdout
           value: stdout
         - name: aliyun_logs_app1-stdout_logstore
           value: stdout-logstore

     应用2设置的环境变量为：

     # 配置环境变量
         - name: aliyun_logs_app2-stdout
           value: stdout
         - name: aliyun_logs_app2-stdout_logstore
           value: stdout-logstore

   • 定制需求2：将不同应用数据采集到不同的Project

     如果您需要将不同应用的数据采集到多个Project中，您需要进行以下操作：

     1. 在每个Project中创建一个机器组，选择自定义标识，标识名为k8s-group-{cluster-id}，其中{cluster-id}为您的集群ID，机器组名称可以自定义配置。

     2. 在每个应用的环境变量中配置project、logstore、machinegroup信息，其中机器组名称为您在上一步创建的机器组名。

        如下示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。其中如果两个应用在同一个K8s集群中，对应的machinegroup可以使用同一个machinegroup。

        应用1设置的环境变量为：

        # 配置环境变量
            - name: aliyun_logs_app1-stdout
              value: stdout
            - name: aliyun_logs_app1-stdout_project
              value: app1-project
            - name: aliyun_logs_app1-stdout_logstore
              value: app1-logstore
            - name: aliyun_logs_app1-stdout_machinegroup
              value: app1-machine-group

        应用2设置的环境变量为：

        # 应用2 配置环境变量
            - name: aliyun_logs_app2-stdout
              value: stdout
            - name: aliyun_logs_app2-stdout_project
              value: app2-project
            - name: aliyun_logs_app2-stdout_logstore
              value: app2-logstore
            - name: aliyun_logs_app2-stdout_machinegroup
              value: app1-machine-group