通过Kubernetes CRD采集集群容器日志（标准输出/文件）

核心概念

在开始配置日志采集前，请先了解阿里云日志服务（SLS）的核心资源概念以及LoongCollector（Logtail）在Kubernetes环境中的运行模式。

前提条件

安装LoongCollector（Logtail）

若集群未安装LoongCollector（Logtail）组件，请参考此处步骤进行安装，本文以安装LoongCollector为例介绍。如需了解如何安装Logtail，请参考Logtail安装与配置。

采集配置创建流程

在安装完LoongCollector后，您就可以开始通过Kubernetes自定义资源创建日志采集配置了，核心流程如下：

1. 在Kubernetes集群上，创建Logtail采集配置的YAML文件，您可以通过采集配置生成器自动生成，也可以根据如下章节手动编写采集配置。一个完整的配置通常包含以下部分：

   • 基础配置（必选）：采集配置的骨架，为必需配置，建立起从集群到日志服务的数据通道。它包含两部分：

     • 输入（inputs）：定义日志的来源。

     • 输出（flushers）：定义日志要发送到哪里。

   • 解析配置（可选）：通过定义processors字段，将原始日志结构化解析为键值对数据。

   • 高级配置（可选）：对日志内容进行脱敏、过滤等处理，实现更精细化的日志采集需求。

     CR参数说明

     apiVersion string （必选） 固定为telemetry.alibabacloud.com/v1alpha1。	采集文本日志模板示例 apiVersion: telemetry.alibabacloud.com/v1alpha1 kind: ClusterAliyunPipelineConfig metadata: # 设置资源名，在当前Kubernetes集群内唯一，也是创建出的Logtail采集配置名。 name: logtail-config-name spec: # 指定日志要发送到的目标Project。 project: name: <your-project-name> logstores: - name: <your-logstore-name> # 定义LoongCollector(Logtail)采集与处理配置。 config: # 日志样例（可不填写） sample: '' # --- 输入插件：定义从哪里采集日志 --- inputs: # 使用input_file插件采集容器内文本日志 - Type: input_file # ... 此处为输入插件的具体配置 ... # 容器内的文件路径 FilePaths: - /data/logs/app_1/**/test.LOG # 最大目录监控深度 MaxDirSearchDepth: 0 FileEncoding: utf8 # 启用容器发现功能。 EnableContainerDiscovery: true # --- 处理插件（可选）：定义如何解析和处理日志 --- processors: [] # --- 输出插件：定义将日志发送到哪里 --- flushers: - Type: flusher_sls # 指定使用SLS输出插件 Logstore: <your-logstore-name> # ... 此处为输出插件的具体配置 ... # 需要确保 endpoint 正确 Endpoint: cn-hangzhou.log.aliyuncs.com Region: cn-hangzhou TelemetryType: logs 采集容器标准输出模板示例 apiVersion: telemetry.alibabacloud.com/v1alpha1 kind: ClusterAliyunPipelineConfig metadata: # 设置资源名，在当前Kubernetes集群内唯一，也是创建出的Logtail采集配置名。 name: new-stdio-config spec: project: name: test-not-exist logstores: - name: new-stdio-logstore # 定义LoongCollector(Logtail)采集与处理配置。 config: # --- 输入插件：定义从哪里采集日志 --- inputs: # 使用input_file插件采集容器内文本日志 - Type: input_container_stdio IgnoringStderr: false IgnoringStdout: false # --- 处理插件（可选）：定义如何解析和处理日志 --- processors: [] # --- 输出插件：定义将日志发送到哪里 --- flushers: - Type: flusher_sls # 指定使用SLS输出插件 Logstore: new-stdio-logstore # 需要确保 endpoint 正确 Endpoint: cn-hangzhou.log.aliyuncs.com Region: cn-hangzhou TelemetryType: logs
     kind string（必选） 固定为ClusterAliyunPipelineConfig。
     metadata object（必选） 资源属性名。 属性 name string（必选） CR的唯一标识，同时也是创建出的Logtail采集配置的名字。 该参数会作为Logtail采集配置名称使用，在所属Project内唯一，且创建成功后无法修改。需要满足以下条件：长度必须在2~128字符之间，且只能包括小写字母、数字、-和_。必须以小写字母或数字开头和结尾。
     spec  object （必选） 采集配置。 属性 project object （必选） 目标Project的信息。 project信息在CR创建后不允许更改，如需切换project请创建新的CR。 属性 name string （必选） 目标 Project 的名称。 如果您所指定的Project不存在，日志服务会自动创建。 description string (可选) 目标 Project 的描述。 该参数仅在创建Project时生效。 endpoint string (可选) 目标Project的服务入口。默认为当前集群所在的地域，如果目标 Project 与集群不在同一地域，需要配置该参数。 该参数仅控制采集配置所在的region，logtail数据投递到该region需要另外配置logtail的config_server_address、data_server_list，参考Logtail网络类型，启动参数与配置文件。 uid string(可选) 目标账号的uid。默认使用当前集群所属账号。如果需要跨账号投递日志，请配置该参数，并在 alibaba-log-controller 组件的环境变量中配置ALICLOUD_LOG_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}。 该参数仅控制project所属的账号，logtail数据投递到该账号需要另外配置logtail的用户标识，参考机器组。 logstores object（可选） 需要创建的Logstore列表，支持创建多个Logstore。 此列表并不指定logtail采集配置的发送目标，logtail采集配置的发送目标，由config中的flusher插件决定。此列表只会按需创建Logstore，即对不存在的Logstore进行创建，对已存在的Logstore不做处理，参数也不会生效。 属性 name string （必选） 需要创建的Logstore的名称。 queryMode string (可选) 目标Logstore的类型。默认值为standard，可选值： query：查询型Logstore。 standard：标准型Logstore。 ttl int (可选) 目标Logstore的管理Logstore（以天为单位）。默认值为30，取值范围为1~3650，如果配置为3650，表示永久保存。 hotTtl int (可选) 目标Logstore的热数据存储的时间（以天为单位）。更多信息，请参见管理Logstore。默认值为0，需要小于ttl且大于等于 7。 shardCount int (可选) 目标Logstore的Shard数量，默认值为2，取值范围为1~100。 maxSplitShard int (可选) 目标 Logstore 的最大自动分裂Shard。默认值为64，取值范围为1~256。 autoSplit bool (可选)默认为true 目标Logstore是否开启自动分裂Shard。 telemetryType string (可选) 目标 Logstore 的可观测数据类型。更多信息，请参见telemetryType。默认值为None，可选值： None：日志类型。 Metrics：Metrics 类型。 appendMeta bool (可选)默认为true 目标Logstore是否开通记录外网IP功能。 enableTracking bool (可选)默认为false 目标Logstore是否启用WebTracking。 encryptConf object (可选) 目标Logstore的加密配置信息。更多信息，请参见通用数据结构。默认值为空。 meteringMode string (可选) 目标Logstore的计费模式。更多信息，请参见计费模式。默认值为空，可选值： ChargeByFunction：按功能计费 ChargeByDataIngest：按写入量计费。 如果queryMode为query，只支持按功能计费。如果账号未开通写入量计费则无法配置为ChargeByDataIngest。 config object（必选） 定义Logtail 采集配置详情。 属性 sample string (可选) 日志样例。支持多条日志，总长度不超过1500字节。 global object (可选) 全局配置。 属性 TopicType string (可选) 日志主题Topic 类型。默认为空，可选值包括： filepath：从日志文件路径中提取信息作为 Topic。仅当输入插件为 input_file 时有效。 machine_group_topic：将应用该配置的机器组 Topic 作为 Topic。 custom：自定义 Topic 。 TopicFormat string (可选) Topic 格式。当 TopicType 取值为 filepath 或 custom 时必填。 EnableTimestampNanosecond bool (可选)默认值false 是否启用时间纳秒精度。 inputs object （必选） 输入插件列表，详细信息与插件参数，请参见CreateLogtailPipelineConfig - 创建Logtail流水线配置。 目前，只允许配置 1 个输入插件。 属性 Type string （必选） 插件类型。 文本输入插件：input_file。 容器标准输出-新版：input_container_stdio。 FilePaths string （必选） 待采集的日志文件路径列表（目前仅限 1 个路径）。路径中支持使用*和**通配符，其中**通配符仅能出现一次且仅限用于文件名前。例如/var/log/**/*.log为采集/var/log目录下所有后缀为.log的文件。 MaxDirSearchDepth uint (可选) 文件路径FilePaths中**通配符匹配的最大目录深度。仅当路径中存在**通配符时有效，取值范围为 0～1000。默认为0，若设置为1，FilePaths为/var/log/**/*.log，则采集/var/log目录下一级目录内所有后缀为.log的文件。 ExcludeFilePaths string (可选) 文件路径黑名单，排除指定条件的文件。路径必须为绝对路径，支持使用*通配符。 ExcludeFiles string (可选) 文件名黑名单，排除指定条件的文件。支持使用*通配符。 ExcludeDirs string (可选) 目录黑名单，排除指定条件的文件。路径必须为绝对路径，支持使用*通配符。 FileEncoding string (可选) 文件编码格式。默认utf8。可选值包括 utf8 和 gbk。 TailSizeKB int (可选) 配置首次生效时，匹配文件中内容起始采集位置距离文件结尾的大小。默认为1024。如果文件大小小于该值，则从头开始采集，取值范围为 0～10485760KB。 Multiline object (可选) 多行聚合选项，填写该项表示开启多行日志采集，单行日志采集请删除该配置。 属性 Mod string (可选) 多行聚合模式。可选值： custom：自定义匹配模式。 JSON：多行JSON模式。 StartPattern string (可选) 行首正则表达式，当Mod取值为custom时必填。以正则表达式来标定每一条日志的起始行。 EnableContainerDiscovery bool (可选) 是否启用容器发现功能。默认值为false。采集容器内文本日志时需配置，仅当 Logtail 以 Daemonset 模式运行，且采集文件路径为容器内路径时有效。 ContainerFilters object (可选) 容器过滤选项，多个选项之间为“且”的关系。 采集容器内文本日志时，仅 EnableContainerDiscovery 取值为 true 时有效。 属性 K8sNamespaceRegex string (可选) 对于部署于 K8s 环境的容器，指定待采集容器所在 Pod 所属的命名空间条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。 K8sPodRegex string (可选) 对于部署于 K8s 环境的容器，指定待采集容器所在 Pod 的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。 IncludeK8sLabel map (可选) 对于部署于 K8s 环境的容器，指定待采集容器所在 pod 的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map 中的 key 为 Pod 标签名，value 为 Pod 标签值。 若map 中 value 为空，则 pod 标签为 key 的 pod 都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则 pod 标签中存在以 key 为标签名且对应标签值能正则匹配 value 的 pod 会被匹配；其他情况则 pod 标签中存在以 key 为标签名且对应标签值为 value 的 pod 才会被匹配。 ExcludeK8sLabel map (可选) 对于部署于 K8s 环境的容器，指定需要排除采集容器所在 pod 的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map 中的 key 为 pod 标签名，value 为 pod 标签的值。 若map 中 value 为空，则 pod 标签为 key 的 pod 都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则 pod 标签中存在以 key 为标签名且对应标签值能正则匹配 value 的 pod 会被匹配；其他情况则 pod 标签中存在以 key 为标签名且对应标签值为 value 的 pod 才会被匹配。 K8sContainerRegex string (可选) 对于部署于 K8s 环境的容器，指定待采集容器的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。 IncludeEnv map (可选) 指定待采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名，value 为环境变量的值。 若map 中 value 为空，则容器环境变量为 key 的 pod 都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的 pod 会被匹配；其他情况则容器环境变量中存在以 key 为环境变量名且对应环境变量值为 value 的 pod 才会被匹配。 ExcludeEnv map (可选) 指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名，value 为环境变量的值。 若map 中 value 为空，则容器环境变量为 key 的 pod 都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的 pod 会被匹配；其他情况则容器环境变量中存在以 key 为环境变量名且对应环境变量值为 value 的 pod 才会被匹配。 IncludeContainerLabel map (可选) 指定待采集容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名，value 为容器标签的值。 若map 中 value 为空，则容器标签为 key 的容器都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则容器标签中存在以 key 为标签名且对应标签值能正则匹配 value 的容器会被匹配；其他情况则容器标签中存在以 key 为标签名且对应标签值为 value 的容器才会被匹配。 ExcludeContainerLabel map (可选) 指定需要排除采集容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名，value 为容器标签的值。 若map 中 value 为空，则容器标签为 key 的容器都会被匹配； 若map 中 value 不为空，当 value 以^开头并以$结尾，则容器标签中存在以 key 为标签名且对应标签值能正则匹配 value 的容器会被匹配；其他情况则容器标签中存在以 key 为标签名且对应标签值为 value 的容器才会被匹配。 ExternalK8sLabelTag map (可选) 对于部署于 K8s 环境的容器，需要在日志中额外添加的与 Pod 标签相关的 tag。map 中的 key 为 Pod 标签名，value 为对应的 tag 名。 例如：在 map 中添加app: k8s\_label\_app，则若 pod 中包含app=serviceA的标签时，会将该信息以 tag 的形式添加到日志中，即添加字段__tag__:k8s_label_app: serviceA；若不包含app标签，则会添加空字段__tag__:k8s_label_app: 。 ExternalEnvTag map (可选) 对于部署于 K8s 环境的容器，需要在日志中额外添加的与容器环境变量相关的 tag。map 中的 key 为环境变量名，value 为对应的 tag 名。 例如：在 map 中添加VERSION: env\_version，则当容器中包含环境变量VERSION=v1.0.0时，会将该信息以 tag 的形式添加到日志中，即添加字段__tag__:env_version: v1.0.0；若不包含VERSION环境变量，则会添加空字段__tag__:env_version:  。 CollectingContainersMeta bool (可选) 是否启用容器元信息预览。默认值false。 AppendingLogPositionMeta bool (可选) 是否在日志中添加该条日志所属文件的元信息，包括__tag__:__inode__字段和__file_offset__字段。默认值false。 AllowingIncludedByMultiConfigs bool (可选) 是否允许当前配置采集其它配置已匹配的文件。默认值false。 processors object (可选) 处理插件列表。本文以正则解析插件为例。详细信息与插件参数，请参见CreateLogtailPipelineConfig - 创建Logtail流水线配置。 属性 Type string （必选） 插件类型。正则解析插件固定为 processor_parse_regex_native。 SourceKey string （必选） 源字段名。一般为content。 Regex string（必选） 正则表达式。 Keys [string] （必选） 提取的字段列表。 KeepingSourceWhenParseFail bool (可选) 当解析失败时，是否保留源字段。默认false。 KeepingSourceWhenParseSucceed bool (可选) 当解析成功时，是否保留源字段。默认false。 RenamedSourceKey string (可选) 当源字段被保留时，用于存储源字段的字段名。若不填，默认不改名。 aggregators object (可选) 聚合插件列表。本文以数据脱敏插件为例。详细信息与插件参数，请参见CreateLogtailPipelineConfig - 创建Logtail流水线配置。 属性 Type string （必选） 插件类型。数据脱敏插件固定为 processor_desensitize。 SourceKey string （必选） 日志字段名称。一般为content。 Method string （必选） 脱敏方式。可选值： const ：将敏感内容替换为字符串。您可以通过 ReplaceString 参数指定目标字符串。 md5 ：将敏感内容替换为对应的 MD5 值。 Match string (可选) 指定提取敏感内容的方式。可选值： full（默认值） ：全部提取，即替换目标字段值中的所有内容。 regex ：使用正则表达式提取敏感内容。 ReplaceString string (可选) 用于替换敏感内容的字符串。 设置 Method 为 const 时必填。 RegexBegin string (可选) 匹配敏感内容前缀的正则表达式。 设置 Match 为 regex 时必填。 RegexContent string (可选) 匹配敏感内容的正则表达式。设置 Match 为 regex 时必填。 flushers object （必选） 输出插件列表。 目前，只允许存在 1 个 flusher_sls 插件。 属性 Type string （必选） 插件类型。固定为 flusher_sls。 Logstore string （必选） LogStrore 名称。用于确定采集配置的发送目标，需要确保存在。 configTags map (可选) 用于标记logtail采集配置的自定义标签。 machineGroups object（可选） 需要与logtail采集配置关联的机器组列表。安装logtail-ds组件时，日志服务会自动创建名为k8s-group-${your_k8s_cluster_id}的机器组，默认值为仅包含该机器组的列表。 alibaba-log-controller组件会保证logtail采集配置关联的机器组严格等于machineGroups指定的机器组，不在machineGroups中的机器组会被解除关联。 属性 name string（必选） 需要与logtail采集配置关联的机器组名。 如果机器组不存在，alibaba-log-controller会自动创建同名的标识型机器组，标识与机器组名相同。详细信息，参见创建用户自定义标识机器组。该行为仅在创建机器组时生效。 enableUpgradeOverride boolean（可选）默认值为false 当集群中存在AliyunLogConfig定义的采集配置、且与当前的AliyunPipelineConfig指向同一个logtail采集配置时： true：alibaba-log-controller会对已有的AliyunLogConfig定义的采集配置进行覆盖升级。 false：采集配置存在冲突，AliyunPipelineConfig应用失败。 指向同一个logtail采集配置的定义：目标project相同且目标Logtail采集配置名相同。 覆盖升级的定义：首先AliyunPipelineConfig生效，并更新logtail采集配置。然后删除集群内指向同一个logtail采集配置的AliyunLogConfig，覆盖更新完成。 两类CRD采集方式对比请参见CRD类型。

2. 应用配置，执行如下命令：

   kubectl apply -f <your_yaml>

3. 验证生效：命令执行后，LoongCollector（Logtail）将依据您的配置开始采集容器日志，并将其发送到日志服务。

基础配置：定义输入与输出

输入(inputs)与输出（flushers），分别定义了要从哪里采集日志，以及日志要发送到哪里。这两部分共同构成了最基本、可运行的采集规则。

# ...在 spec.config下...
inputs:
  - Type: input_container_stdio
    IgnoringStderr: false
    IgnoringStdout: false       

# ...在 spec.config下...
inputs:
  - Type: input_file
    FilePaths:
      - /var/log/text1.log
    MaxDirSearchDepth: 0
    FileEncoding: utf8
    EnableContainerDiscovery: true 

# ...在 spec.config下...
flushers:
  - Type: flusher_sls         # 指定使用阿里云 SLS 日志服务作为输出目标
    Logstore: easy-row-logstore   # 目标 Logstore 名称，需确保已在 SLS 控制台创建

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一，也是创建出的Logtail采集配置名。
  name: new-stdio-config
spec:
  project:
    name: test-not-exist
  logstores:
    - name: new-stdio-logstore

  # 定义LoongCollector(Logtail)采集与处理配置。
  config:
    # --- 输入插件：定义从哪里采集日志 ---
    inputs:
      # 使用input_file插件采集容器内文本日志
      - Type: input_container_stdio
        IgnoringStderr: false
        IgnoringStdout: false

    # --- 处理插件（可选）：定义如何解析和处理日志 ---
    processors: []

    # --- 输出插件：定义将日志发送到哪里 ---
    flushers:
      - Type: flusher_sls    # 指定使用SLS输出插件
        Logstore: new-stdio-logstore

        # 需要确保 endpoint 正确
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: easy-row-config
spec:
  # 指定日志要发送到的目标Project。
  project:
    name: test-not-exist
  logstores:
    - name: easy-row-logstore

  # 定义LoongCollector(Logtail)采集与处理配置。
  config:
    # 日志样例（可不填写）
    sample: ''
    # --- 输入插件：定义从哪里采集日志 ---
    inputs:
      # 使用input_file插件采集容器内文本日志
      - Type: input_file         
        # ... 此处为输入插件的具体配置 ...
        # 容器内的文件路径
        FilePaths:
          - /var/log/text1.log
        # 最大目录监控深度  
        MaxDirSearchDepth: 0
        FileEncoding: utf8  
        # 启用容器发现功能。
        EnableContainerDiscovery: true
        

    # --- 处理插件（可选）：定义如何解析和处理日志 ---
    processors: []    

    # --- 输出插件：定义将日志发送到哪里 ---
    flushers:
      - Type: flusher_sls        # 指定使用SLS输出插件
        Logstore: easy-row-logstore
        # ... 此处为输出插件的具体配置 ...
        # 需要确保 endpoint 正确
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs     

解析配置：结构化日志

在完成基础配置：定义输入与输出后，您可以通过添加processors插件进行解析，将原始日志进行结构化解析，使其变为易于查询和分析的结构化数据。

核心配置：在config中添加processors部分，配置解析插件，支持同时启用多个插件。

Logtail提供了处理插件用于将原始日志进一步解析为结构化数据，处理插件分为原生处理插件和扩展处理插件，此处仅覆盖原生处理插件的使用。

 # ...在 spec.config下...
 processors:
  # 使用正则表达式解析插件解析日志内容
  - Type: processor_parse_regex_native
    # 指定原始日志字段来源，通常为 content
    SourceKey: content

    # 正则表达式用于匹配并提取日志字段
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 提取字段列表，按正则分组顺序对应
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析失败时是否保留原始字段
    KeepingSourceWhenParseFail: true

    # 解析成功时是否保留原始字段
    KeepingSourceWhenParseSucceed: true

    # 如果保留原始字段，可以指定重命名后的字段名
    RenamedSourceKey: fail

# ...在 spec.config下...
processors:
  # 分隔符解析插件配置
  - Type: processor_parse_delimiter_native
    # 原始字段来源，通常为 content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 按顺序定义提取后的字段名
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

# ...在 spec.config下...
processors:
  # JSON 解析插件配置
  - Type: processor_parse_json_native
    # 原始日志字段来源
    SourceKey: content

# ...在 spec.config下...
processors:
  # 配置 JSON 字段展开插件
  - Type: processor_json
    # 指定需要解析的原始字段名
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 是否展开数组元素为独立字段
    ExpandArray: false

    # 是否保留原始字段内容
    KeepSource: true

    # 当原始字段缺失时是否报错
    NoKeyError: true

    # 是否将原始字段名作为展开字段名的前缀
    UseSourceKeyAsPrefix: false

    # 如果 JSON 解析失败，是否保留原始日志数据
    KeepSourceIfParseError: true

# ...在 spec.config下...
processors:
  # 使用 SPL 脚本处理日志字段
  - Type: processor_spl
    # 脚本超时时间（单位：毫秒）
    TimeoutMilliSeconds: 1000

    # SPL 脚本内容，用于从 content 字段中提取 JSON 数组中的元素
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

# ...在 spec.config下...
processors:
  # NGINX 日志解析插件配置
  - Type: processor_parse_regex_native
    # 原始日志字段来源
    SourceKey: content
    
    # 正则表达式解析规则
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 提取字段映射
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 特定配置
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

# ...在 spec.config下...
processors:
  # 配置 Apache Combined 日志解析插件（基于正则表达式）
  - Type: processor_parse_regex_native
    # 原始日志字段来源，通常为 content
    SourceKey: content

    # 正则表达式用于匹配并提取 Apache combined 格式日志
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri（重复捕获？需注意逻辑）
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 提取字段列表，按正则分组顺序对应
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 插件附加信息（非必须，用于说明日志格式）
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

高级配置：精细化处理

在完成基础配置：定义输入与输出后，您可以参考下述操作采集多行日志、对日志进行过滤、脱敏等处理，以满足更精细化的日志采集需求。以下是常见高级配置及其功能：

• 配置多行日志采集：当一条日志内容（如异常堆栈信息）占用多行时，需启用多行模式，并配置行首正则表达式以匹配日志的起始行，将占用多行的日志作为一条日志采集并存储到日志服务。

• 允许日志（文本文件/容器标准输出）多次采集：允许一个文件日志或容器标准输出被多个LoongCollector（Logtail）配置采集。

• 配置日志主题类型：为不同的日志流设置不同的主题（Topic），可用于组织和分类日志数据，更好地管理和检索相关日志。

• 指定容器采集（过滤与黑名单）：需要指定特定容器与路径采集时，包括白名单与黑名单配置。

• 日志标签富化：将环境变量、Pod标签相关的元信息添加到日志中，作为日志的扩展字段。

• 日志脱敏处理：对日志中的敏感信息进行脱敏处理后保存到日志服务。

• 日志内容过滤：当原始日志中有大量无效日志无需保存到日志服务时，可使用日志过滤来剔除。

• 指定写入日志时间：用于解析日志中的时间字段，并将解析结果设置为日志的__time__字段。

# ...在 spec.config下...
inputs:
  - Type: input_file
    # 开启多行日志采集功能
    Multiline:
      # 模式选择：custom 表示自定义正则表达式匹配行首
      Mode: custom
      # 正则表达式匹配每条日志的起始行（即新日志开始的标志）
      StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'

# ...在 spec.config下...
inputs:
 # input_container_stdio：容器标准输出-新版，input_file：文本日志采集
  - Type: input_container_stdio # 或 input_file
    # 允许同一个容器标准输出/文本日志被多个配置同时采集
    AllowingIncludedByMultiConfigs: true

spec: 
  config:
    global: 
    #将应用该配置的机器组 Topic 作为 Topic
      TopicType: machine_group_topic

/data/logs
├── userA
│   └── serviceA
│       └── service.log
├── userB
│   └── serviceA
│       └── service.log
└── userC
    └── serviceA
        └── service.log

spec:  
  config:
    global: 
      TopicType: filepath
    # Topic 格式。当 TopicType 取值为 filepath 或 custom 时必填。
    # 提取结果为__topic__: userA，__topic__: userB，__topic__: userC
      TopicFormat: \/data\/logs\/(.*)\/serviceA\/.*

spec:  
  config:
    global: 
      TopicType: filepath
    # 若文件路径为/data/logs/userA/serviceA/service.log，请根据以下两种捕获组的效果选择一种正则作为下方TopicFormat的值
    # 非命名捕获组正则为：\/data\/logs\/(.*?)\/(.*?)\/service.log，结果为__tag__:__topic_1__: userA，__tag__:__topic_2__: serviceA
    # 命名捕获组正则为：\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log，结果为__tag__:user: userA，__tag__:service: serviceA
      TopicFormat: 

spec:  
  config:
    global: 
      TopicType: custom
    # Topic 格式。当 TopicType 取值为 filepath 或 custom 时必填。
      TopicFormat: customized:// + 自定义主题名

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 当输入插件类型为input_file时，需配置：启用容器发现功能为true。
    EnableContainerDiscovery: true
    # 容器过滤
    ContainerFilters:
      # K8s Pod标签白名单：指定需要采集日志的容器
      IncludeK8sLabel:
        # 示例：匹配所有包含 app 标签且标签值为 nginx 或 redis 的 Pod。
        app: ^(nginx|redis)$

      # K8s Pod标签黑名单：排除符合特定条件的容器日志采集
      ExcludeK8sLabel:
        # 示例：排除所有包含 app:test 标签的 Pod
        app: test        

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 当输入插件类型为input_file时，需配置：启用容器发现功能为true。
    EnableContainerDiscovery: true
    # 容器过滤
    ContainerFilters:
      # 环境变量白名单
      IncludeEnv:
        # 匹配所有包含 NGINX_SERVICE_PORT=80 或 NGINX_SERVICE_PORT=6379 的容器。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 环境变量黑名单
      ExcludeEnv:
        # 排除所有 ENVIRONMENT=test 的容器。
        ENVIRONMENT: test

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 当输入插件类型为input_file时，需配置：启用容器发现功能为true。
    EnableContainerDiscovery: true
    # 容器过滤
    ContainerFilters:
      # Namespace 正则匹配，示例为匹配 default 和 nginx 命名空间下的所有容器。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名称正则匹配，示例为匹配所有以 nginx-log-demo 开头的 Pod 下的容器。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # 容器名称正则匹配，示例为匹配所有名为 container-test 的容器
      K8sContainerRegex: ^(container-test)$

# ...在 spec.config下...
inputs:
  - Type: input_file
    # 文件路径黑名单，排除指定条件的文件。路径必须为绝对路径，支持使用 * 通配符。
    ExcludeFilePaths:
      - /var/log/*.log

    # 文件名黑名单，排除指定条件的文件。支持使用 * 通配符。
    ExcludeFiles:
      - test

    # 目录黑名单，排除指定条件的文件。路径必须为绝对路径，支持使用 * 通配符。
    ExcludeDirs:
      - /var/log/backup*      

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 环境变量相关：将指定的环境变量值映射为 tag 字段
    ExternalEnvTag:
      <环境变量名>: <tag名>

    # Pod 标签相关：将 Kubernetes Pod 的标签值映射为 tag 字段
    ExternalK8sLabelTag:
      <Pod标签名>: <tag名>          

# ...在 spec.config下...
processors:
  # 配置原生日志脱敏插件
  - Type: processor_desensitize_native

    # 原始字段名
    SourceKey: content

    # 脱敏方式：const 表示用固定字符串替换敏感内容
    Method: const

    # 替换敏感内容的目标字符串
    ReplacingString: '********'

    # 被替换内容前的内容表达式
    ContentPatternBeforeReplacedString: 'password'':'''

    # 敏感内容本身的正则表达式，匹配要被替换的内容
    ReplacedContentPattern: '[^'']*'

    # 是否替换所有匹配项，默认为 true
    ReplacingAll: true

# ...在 spec.config下...
processors:
  # 配置正则表达式过滤插件（可用于日志脱敏或敏感词过滤）
  - Type: processor_filter_regex_native

    # 定义正则表达式列表，用于匹配日志字段的内容
    FilterRegex:
      # 示例：匹配日志字段值中包含 "WARNING" 或 "ERROR" 的内容
      - WARNING|ERROR

    # 指定需要匹配的日志字段名，示例为对 level 字段进行过滤
    FilterKey:
      - level

# ...在 spec.config下...
processors:
  # 配置原生时间解析插件
  - Type: processor_parse_timestamp_native
    # 原始日志字段来源，通常为 content
    SourceKey: content

    # 时间格式定义，需与日志中的时间字段格式完全匹配
    SourceFormat: '%Y-%m-%d %H:%M:%S'

常见场景完整配置示例

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: nginx-config
spec:
  config:
    aggregators: []
    global: {}
    inputs:
      - Type: input_file
        FilePaths:
          - /root/log/text1.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: >-
          (\S*)\s*-\s*(\S*)\s*\[(\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]\s*"(\S+)\s+(\S+)\s+\S+"\s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)\s*"([^"]*)"\s*"([^"]*)".*
        Keys:
          - remote_addr
          - remote_user
          - time_local
          - request_method
          - request_uri
          - request_time
          - request_length
          - status
          - body_bytes_sent
          - http_referer
          - http_user_agent
        Extra:
          Format: >-
            log_format main  '$remote_addr - $remote_user [$time_local]
            "$request" ''$request_time $request_length ''$status
            $body_bytes_sent "$http_referer" ''"$http_user_agent"';
          LogType: NGINX
    flushers:
      - Type: flusher_sls
        Logstore: my-log-logstore
    sample: >-
      192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png
      HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)
      AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"
  project:
    name: my-log-project
  logstores:
    - name: my-log-logstore

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: multiline-config
spec:
  config:
    aggregators: []
    global: {}
    inputs:
      - Type: input_file
        FilePaths:
          - /root/log/text1.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        Multiline:
          StartPattern: '\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*'
          Mode: custom
          UnmatchedContentTreatment: single_line
        EnableContainerDiscovery: true
    processors: []
    flushers:
      - Type: flusher_sls
        Logstore: my-log-logstore
    sample: |-
      [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
          at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
          at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
          at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
  project:
    name: my-log-project
  logstores:
    - name: my-log-logstore

常见问题