文本输入插件

CRD-AliyunPipelineConfig

• 表1：多行聚合选项

  参数	类型	是否必填	默认值	说明
  Mode	string	否	custom	多行聚合模式。可选值包括custom和JSON。
  StartPattern	string	当Multiline.Mode取值为custom时，至少1个必填	空	行首正则表达式。
  ContinuePattern	string		空	行继续正则表达式。
  EndPattern	string		空	行尾正则表达式。
  UnmatchedContentTreatment	string	否	single_line	对于无法匹配的日志段的处理方式，可选值如下： discard：丢弃 single_line：将不匹配日志段的每一行各自存放在一个单独的事件中

• 表2：容器过滤选项

  参数	类型	是否必填	默认值	说明
  K8sNamespaceRegex	string	否	空	对于部署于K8s环境的容器，指定待采集容器所在Pod所属的命名空间条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。
  K8sPodRegex	string	否	空	对于部署于K8s环境的容器，指定待采集容器所在Pod的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。
  IncludeK8sLabel	map	否	空	对于部署于K8s环境的容器，指定待采集容器所在pod的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为Pod标签名，value为Pod标签的值，说明如下： 如果map中的value为空，则pod标签中包含以key为键的pod都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的pod会被匹配； 其他情况下，当pod标签中存在以key为标签名且以value为标签值的情况时，相应的pod会被匹配。
  ExcludeK8sLabel	map	否	空	对于部署于K8s环境的容器，指定需要排除采集容器所在pod的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为pod标签名，value为pod标签的值，说明如下： 如果map中的value为空，则pod标签中包含以key为键的pod都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的pod会被匹配； 其他情况下，当pod标签中存在以key为标签名且以value为标签值的情况时，相应的pod会被匹配。
  K8sContainerRegex	string	否	空	对于部署于K8s环境的容器，指定待采集容器的名称条件。如果未添加该参数，则表示采集所有容器。支持正则匹配。
  IncludeEnv	map	否	空	指定待采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为环境变量名，value为环境变量的值，说明如下： 如果map中的value为空，则容器环境变量中包含以key为键的容器都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时，相应的容器会被匹配； 其他情况下，当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时，相应的容器会被匹配。
  ExcludeEnv	map	否	空	指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系，如果未添加该参数，则表示采集所有容器。支持正则匹配。 map中的key为环境变量名，value为环境变量的值，说明如下： 如果map中的value为空，则容器环境变量中包含以key为键的容器都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时，相应的容器会被匹配； 其他情况下，当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时，相应的容器会被匹配。
  IncludeContainerLabel	map	否	空	指定待采集Docker容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map中的key为容器标签名，value为容器标签的值，说明如下： 如果map中的value为空，则容器标签中包含以key为键的容器都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的容器会被匹配； 其他情况下，当容器标签中存在以key为标签名且以value为标签值的情况时，相应的容器会被匹配。
  ExcludeContainerLabel	map	否	空	指定需要排除采集Docker容器的标签条件。多个条件之间为“或”的关系，如果未添加该参数，则默认为空，表示采集所有容器。支持正则匹配。 map中的key为容器标签名，value为容器标签的值，说明如下： 如果map中的value为空，则容器标签中包含以key为键的容器都会被匹配； 如果map中的value不为空，则： 若value以^开头并且以$结尾，则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时，相应的容器会被匹配； 其他情况下，当容器标签中存在以key为标签名且以value为标签值的情况时，相应的容器会被匹配。

• 配置示例

  AliyunPipelineConfig管理采集配置

  apiVersion: telemetry.alibabacloud.com/v1alpha1
  kind: ClusterAliyunPipelineConfig
  metadata:
    # 设置资源名，在当前Kubernetes集群内唯一。该名称也是创建出的Logtail采集配置名，如果名称重复则不会生效。
    name: example-k8s-file
  spec:
    # 指定目标Project
    project:
      name: k8s-log-test
    logstores:
      # 创建名为 k8s-file的Logstore
      - name: k8s-file
    # 定义Logtail采集配置
    config:
      # 日志样例（可不填写）
      sample: |
        2024-06-19 16:35:00 INFO test log
        line-1
        line-2
        end
      # 定义输入插件
      inputs:
        # 使用input_file插件采集容器内多行文本日志
        - Type: input_file
          # 容器内的文件路径
          FilePaths:
            - /data/logs/app_1/**/test.LOG
          # 启用容器发现功能。
          EnableContainerDiscovery: true
          # 添加容器信息过滤条件，多个选项之间为“且”的关系。
          CollectingContainersMeta: true
          ContainerFilters:
            # 指定待采集容器所在 Pod 所属的命名空间，支持正则匹配。
            K8sNamespaceRegex: default
            # 指定待采集容器的名称，支持正则匹配。
            IncludeK8sLabel:
              app: ^(.*app.*)$
          # 开启多行日志采集，单行日志采集请删除该配置
          Multiline:
            # 选择自定义行首正则表达式模式
            Mode: custom
            # 配置行首正则表达式
            StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
      # 定义处理插件
      processors:
        # 使用正则解析插件解析日志
        - Type: processor_parse_regex_native
          # 源字段名
          SourceKey: content
          # 解析用的正则表达式，用捕获组"()"捕获待提取的字段
          Regex: (\d+-\d+-\d+\s\S+)(.*)
          # 提取的字段列表
          Keys: ["time", "detail"]
      # 定义输出插件
      flushers:
        # 使用flusher_sls插件输出到指定Logstore。
        - Type: flusher_sls
          # 需要确保该 Logstore 存在
          Logstore: k8s-file
          # 需要确保 endpoint 正确
          Endpoint: cn-beijing.log.aliyuncs.com
          Region: cn-beijing
          TelemetryType: logs