采集自建K8s集群文本日志（DaemonSet方式部署Logtail）

您只需要创建AliyunPipelineConfig自定义资源即可创建Logtail采集配置，资源创建完成后自动生效。

1. 登录您的Kubernetes集群。

2. 创建名为example-k8s-file.yaml的文件。

   您可用采集配置生成器生成目标场景YAML脚本，或参考如下示例手动编写。

   以下示例YAML文件以多行文本模式采集default命名空间下，标签为app: ^(.*test.*)$的Pod中/data/logs/app_1路径下的test.LOG文件内容，并将其发送到名为k8s-log-test的Project中的名为k8s-file（自动创建）的Logstore。您需根据实际情况修改YAML中的以下参数：

   1. project，示例：k8s-log-test。

      登录日志服务控制台，确定您安装的Logtail生成的Project的名称，通常格式为k8s-log-<YOUR_CLUSTER_ID>。

   2. IncludeK8sLabel，示例：app: ^(.*test.*)$。用于筛选目标Pod的标签，当前条件指定标签键为app，值中包含test的Pod会被采集。

      说明

      如果需要采集集群中名称包含test的所有Pod，可以将IncludeK8sLabel替换为K8sContainerRegex，并使用通配符配置值，如：K8sContainerRegex: ^(.test.)$。

   3. FilePaths，示例：/data/logs/app_1/**/test.LOG。更多详情请参见容器文件路径映射。

   4. Endpoint和Region，示例：cn-hangzhou.log.aliyuncs.com和cn-hangzhou。

   有关YAML文件中config项的详情，包括支持的输入、输出、处理插件类型和容器过滤方式，请参见PipelineConfig。完整的YAML参数详情请参见CR参数说明。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的Logtail采集配置名，如果名称重复则不会生效。
     name: example-k8s-file
   spec:
     # 指定目标Project
     project:
       name: k8s-log-test
     logstores:
       # 创建名为 k8s-file的Logstore
       - name: k8s-file
     # 定义Logtail采集配置
     config:
       # 日志样例（可不填写）
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 定义输入插件
       inputs:
         # 使用input_file插件采集容器内多行文本日志
         - Type: input_file
           # 容器内的文件路径
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # 启用容器发现功能。
           EnableContainerDiscovery: true
           # 添加容器信息过滤条件，多个选项之间为“且”的关系。
           CollectingContainersMeta: true
           ContainerFilters:
             # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
             K8sNamespaceRegex: default
             # 指定待采集容器的名称，支持正则匹配。
             IncludeK8sLabel:
               app: ^(.*app.*)$
           # 开启多行日志采集，单行日志采集请删除该配置
           Multiline:
             # 选择自定义行首正则表达式模式
             Mode: custom
             # 配置行首正则表达式
             StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
       # 定义处理插件
       processors:
         # 使用正则解析插件解析日志
         - Type: processor_parse_regex_native
           # 源字段名
           SourceKey: content
           # 解析用的正则表达式，用捕获组"()"捕获待提取的字段
           Regex: (\d+-\d+-\d+\s\S+)(.*)
           # 提取的字段列表
           Keys: ["time", "detail"]
       # 定义输出插件
       flushers:
         # 使用flusher_sls插件输出到指定Logstore。
         - Type: flusher_sls
           # 需要确保该 Logstore 存在
           Logstore: k8s-file
           # 需要确保 endpoint 正确
           Endpoint: cn-beijing.log.aliyuncs.com
           Region: cn-beijing
           TelemetryType: logs

3. 执行kubectl apply -f example.yaml，其中example.yaml替换为您创建的 YAML 文件名称，Logtail开始采集容器上的文本日志，并发送到日志服务中。

您只需要创建AliyunLogConfig自定义资源即可创建Logtail采集配置，创建完成后自动生效。

1. 登录您的Kubernetes集群。

2. 创建名为example-k8s-file.yaml的文件。

   该YAML脚本将创建名为example-k8s-file的Logtail采集配置，并对集群内名称开头为app的所有容器，以极简文本模式采集/data/logs/app_1路径下的test.LOG文件内容，发送到名为k8s-log-<YOUR_CLUSTER_ID>的Project中的名为k8s-file（自动创建）的Logstore。

   您需根据实际情况修改示例中容器内文件路径，更多详情请参见容器文件路径映射。

   • logPath：采集日志路径。示例：/data/logs/app_1。

   • filePattern：采集日志文件名称。示例：test.LOG。

   有关YAML文件中的logtailConfig项提供的Logtail的详情，如支持的输入，输出，处理插件类型与容器过滤方式等，请参见AliyunLogConfigDetail，完整的YAML参数详情请参见CR参数说明。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: example-k8s-file
     # 设置资源所在命名空间。
     namespace: kube-system
   spec:
     # 设置目标project名称（可不填写，默认为k8s-log-<your_cluster_id>）
     # project: k8s-log-test
     # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-file
     # 设置Logtail采集配置。
     logtailConfig:
       # 设置采集的数据源类型。采集文本日志时，需设置为file。
       inputType: file
       # 设置Logtail采集配置的名称，必须与metadata.name一致。
       configName: example-k8s-file
       inputDetail:
         # 指定通过极简模式采集文本日志。
         logType: common_reg_log
         # 设置日志文件所在路径。
         logPath: /data/logs/app_1
         # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
         filePattern: test.LOG
         # 采集容器的文本日志时，需设置dockerFile为true。
         dockerFile: true
         # 开启多行日志采集 单行日志采集删除该配置
         # 行首正则表达式，以该正则表示一行日志的开始
         logBeginRegex: \d+-\d+-\d+.*
         #设置容器过滤条件。
         advanced:
           k8s:
             K8sPodRegex: '^(app.*)$'

3. 执行kubectl apply -f example.yaml，其中example.yaml替换为您创建的 YAML 文件名称，Logtail开始采集容器上的文本日志，并发送到日志服务中。

1. 登录日志服务控制台。

2. 选择Project列表中您在安装Logtail组件时所使用的Project，如k8s-log-<your_cluster_id>。在Project页面中点击目标Logstore的Logtail配置，添加Logtail配置，并点击Kubernetes-文件的立即接入。

3. 在机器组配置页面K8s场景的ACK Daemonset方式下勾选k8s-group-${your_k8s_cluster_id}机器组并点击>添加到应用机器组中，点击下一步。

4. 创建Logtail采集配置，按下文填写必须配置后点击下一步即可，Logtail采集配置生效大概需要1分钟，请耐心等待。

   此处仅介绍主要配置，详细配置请参见Logtail采集配置。

   • 全局配置

     在全局配置中输入配置名称。

     

   • 输入配置

     • Logtail部署模式：选择DaemonSet。

     • 文件路径类型：选择待采集的文件路径是容器内路径或宿主机路径。对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。

     • 文件路径：代表日志采集的路径，日志路径必须以正斜线（/）开头，例如下图/data/wwwlogs/main/**/*.Log表示/data/wwwlogs/main目录下后缀名为.Log的文件。如果需要设置日志目录被监控的最大深度，即文件路径中通配符**匹配的最大目录深度。可以修改最大目录监控深度的取值，0代表只监控本层目录。

5. 创建索引和预览数据：日志服务默认开启全文索引，此时查询会索引日志中所有字段。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将生成字段索引，通过此索引针对特定字段进行精确查询，从而减少索引费用和提高查询效率。更多信息请参见创建索引。