通过Kubernetes CRD采集集群容器日志（标准输出/文件）

关键字段

示例

Type String （必选）

插件类型，固定为processor_parse_regex_native。

 # ...在 spec.config下...
 processors:
  # 使用正则表达式解析插件解析日志内容
  - Type: processor_parse_regex_native
    # 指定原始日志字段来源，通常为 content
    SourceKey: content

    # 正则表达式用于匹配并提取日志字段
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 提取字段列表，按正则分组顺序对应
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析失败时是否保留原始字段
    KeepingSourceWhenParseFail: true

    # 解析成功时是否保留原始字段
    KeepingSourceWhenParseSucceed: true

    # 如果保留原始字段，可以指定重命名后的字段名
    RenamedSourceKey: fail

SourceKey String （必选）

源字段名。

Regex String （必选）

匹配日志的正则表达式。

Keys String （必选）

提取的字段列表。

KeepingSourceWhenParseFail boolean （可选）

解析失败时，是否保留源字段，默认为false。

KeepingSourceWhenParseSucceed boolean （可选）

解析成功时，是否保留源字段，默认为false。

RenamedSourceKey String （可选）

保留源字段时，用于存储源字段的字段名，默认不改名。

关键字段详解

示例

Type String （必选）

插件类型，固定值processor_parse_delimiter_native。

# ...在 spec.config下...
processors:
  # 分隔符解析插件配置
  - Type: processor_parse_delimiter_native
    # 原始字段来源，通常为 content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 按顺序定义提取后的字段名
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String （必选）

源字段名。

Separator String （必选）

字段分隔符，例如 CSV 使用逗号 (,)。

Keys [String] （必选）

提取的字段列表。

Quote String （可选）

引用符，用于包裹包含特殊字符（如逗号）的字段内容。

AllowingShortenedFields boolean （可选）

是否允许提取的字段数量小于 Keys 的数量，默认为true。若不允许，则此情景会被视为解析失败。

OverflowedFieldsTreatment String （可选）

当提取的字段数量大于 Keys 的数量时的行为，默认为extend。可选值包括：

• extend：保留多余的字段，且每个多余的字段都作为单独的一个字段加入日志，多余字段的字段名为_column$i_，其中$i 代表额外字段序号，从 0 开始计数。

• keep：保留多余的字段，但将多余内容作为一个整体字段加入日志，字段名为_column0_。

• discard：丢弃多余的字段。

KeepingSourceWhenParseFail boolean （可选）

解析失败时，是否保留源字段，默认为false。

KeepingSourceWhenParseSucceed boolean （可选）

解析成功时，是否保留源字段，默认为false。

RenamedSourceKey String （可选）

保留源字段时，用于存储源字段的字段名，默认不改名。

关键字段详解

示例

Type String （必选）

插件类型，固定值为processor_parse_json_native。

# ...在 spec.config下...
processors:
  # JSON 解析插件配置
  - Type: processor_parse_json_native
    # 原始日志字段来源
    SourceKey: content

SourceKey String （必选）

源字段名。

KeepingSourceWhenParseFail boolean （可选）

解析失败时，是否保留源字段，默认为false。

KeepingSourceWhenParseSucceed boolean （可选）

解析成功时，是否保留源字段，默认为false。

RenamedSourceKey String （可选）

保留源字段时，用于存储源字段的字段名，默认不改名。

关键字段详解

示例

Type String （必选）

插件类型，固定值processor_json。

# ...在 spec.config下...
processors:
  # 配置 JSON 字段展开插件
  - Type: processor_json
    # 指定需要解析的原始字段名
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 是否展开数组元素为独立字段
    ExpandArray: false

    # 是否保留原始字段内容
    KeepSource: true

    # 当原始字段缺失时是否报错
    NoKeyError: true

    # 是否将原始字段名作为展开字段名的前缀
    UseSourceKeyAsPrefix: false

    # 如果 JSON 解析失败，是否保留原始日志数据
    KeepSourceIfParseError: true

SourceKey String （必选）

源字段名。

ExpandDepth integer （可选）

JSON 展开深度，默认值为0。

• 0：表示展开到能解析成功的最深层级；

• 1：表示仅展开当前层级，以此类推。

ExpandConnector String （可选）

JSON 展开时字段名的连接符，默认为下划线（_）。

Prefix String （可选）

指定 JSON 展开后字段名的前缀。

IgnoreFirstConnector String （可选）

是否忽略第一个连接符，即是否在顶级字段前添加连接符，默认为false。

ExpandArray boolean （可选）

是否展开数组类型，默认为false。

• false（默认值）：不展开。

• true：展开。例如{"k":["1","2"]}展开为{"k[0]":"1","k[1]":"2"}。

KeepSource boolean （可选）

被解析后的日志中是否保留原始字段，默认为true。

• true：保留

• false：丢弃

NoKeyError boolean （可选）

原始日志中没有指定的原始字段时，系统是否报错，默认为true。

• true：报错

• false：不报错

UseSourceKeyAsPrefix boolean （可选）

是否将原始字段名作为所有 JSON 展开字段名的前缀。

KeepSourceIfParseError boolean （可选）

解析日志失败时，是否保留原始日志，默认为true。

• true：保留

• false：丢弃

关键字段详解

示例

Type String （必选）

插件类型，SPL插件类型为processor_spl。

# ...在 spec.config下...
processors:
  # 使用 SPL 脚本处理日志字段
  - Type: processor_spl
    # 脚本超时时间（单位：毫秒）
    TimeoutMilliSeconds: 1000

    # SPL 脚本内容，用于从 content 字段中提取 JSON 数组中的元素
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String （必选）

SPL 脚本内容，用于从 content 字段中提取 JSON 数组中的元素。

TimeoutMilliSeconds integer （可选）

脚本超时时间，取值范围0~10000，单位为毫秒，默认1000。

关键字段详解

示例

Type String （必选）

插件类型，Nginx日志解析的插件类型为processor_parse_regex_native。

# ...在 spec.config下...
processors:
  # NGINX 日志解析插件配置
  - Type: processor_parse_regex_native
    # 原始日志字段来源
    SourceKey: content
    
    # 正则表达式解析规则
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 提取字段映射
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 特定配置
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String （必选）

源字段名。

Regex integer （必选）

正则表达式。

Keys String （必选）

提取的字段列表。

Extra

• Format String （必选）

  Nginx配置文件中的日志配置部分，以log_format开头。

  生产环境中，此处的log_format必须与Nginx配置文件（通常位于  /etc/nginx/nginx.conf文件中）中的定义保持一致。

• LogType String （必选）

  解析日志类型，固定值为NGINX。

KeepingSourceWhenParseFail boolean （可选）

解析失败时是否保留原始字段，默认为false。

KeepingSourceWhenParseSucceed boolean （可选）

解析成功时是否保留原始字段，默认为false。

RenamedSourceKey String （可选）

保留原始字段时，用于存储原始的字段名，默认不改名。

关键字段详解

示例

Type String （必选）

插件类型，固定值为processor_parse_regex_native。

# ...在 spec.config下...
processors:
  # 配置 Apache Combined 日志解析插件（基于正则表达式）
  - Type: processor_parse_regex_native
    # 原始日志字段来源，通常为 content
    SourceKey: content

    # 正则表达式用于匹配并提取 Apache combined 格式日志
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri（重复捕获？需注意逻辑）
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 提取字段列表，按正则分组顺序对应
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 插件附加信息（非必须，用于说明日志格式）
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String （必选）

源字段名。

Regex integer （必选）

正则表达式。

Keys String （必选）

提取的字段列表。

Extra

• Format String （必选）

  Apache配置文件中的日志配置部分，通常以LogFormat开头。

• LogType String （必选）

  解析日志类型，固定值为Apache。

• SubType String （必选）

  日志格式。

  • common

  • combined

  • 自定义

KeepingSourceWhenParseFail boolean （可选）

解析失败时是否保留原始字段，默认为false。

KeepingSourceWhenParseSucceed boolean （可选）

解析成功时是否保留原始字段，默认为false。

RenamedSourceKey String （可选）

保留原始字段时，用于存储原始的字段名，默认不改名。

关键字段详解

示例

ContainerFilters

容器过滤

• Pod标签黑/白名单

  • IncludeK8sLabel

    K8s Pod标签白名单，指定需要采集日志的容器。

  • ExcludeK8sLabel

    K8s Pod标签黑名单：排除符合特定条件的容器日志采集。

• 环境变量黑白名单

  • IncludeEnv

    环境变量白名单

  • ExcludeInv

    环境变量黑名单

• Pod/Namespace/容器名称正则匹配

  • K8sNamespaceRegex

    Namespace 正则匹配

  • K8sPodRegex

    Pod 名称正则匹配

  • K8sContainerRegex

    容器名称正则匹配

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 当输入插件类型为input_file时，需配置：启用容器发现功能为true。
    EnableContainerDiscovery: true
    # 容器过滤
    ContainerFilters:
      # K8s Pod标签白名单：指定需要采集日志的容器
      IncludeK8sLabel:
        # 示例：匹配所有包含 app 标签且标签值为 nginx 或 redis 的 Pod。
        app: ^(nginx|redis)$

      # K8s Pod标签黑名单：排除符合特定条件的容器日志采集
      ExcludeK8sLabel:
        # 示例：排除所有包含 app:test 标签的 Pod
        app: test
      
      # 环境变量白名单
      IncludeEnv:
        # 匹配所有包含 NGINX_SERVICE_PORT=80 或 NGINX_SERVICE_PORT=6379 的容器。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 环境变量黑名单
      ExcludeEnv:
        # 排除所有 ENVIRONMENT=test 的容器。
        ENVIRONMENT: test
      
      # Namespace 正则匹配，示例为匹配 default 和 nginx 命名空间下的所有容器。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名称正则匹配，示例为匹配所有以 nginx-log-demo 开头的 Pod 下的容器。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # 容器名称正则匹配，示例为匹配所有名为 container-test 的容器
      K8sContainerRegex: ^(container-test)$