Kubernetes-CRD配置日志采集

apiVersion: log.alibabacloud.com/v1alpha1      ## 默认值，无需改变
kind: AliyunLogConfig                          ## 默认值，无需改变
metadata:
  name: simple-stdout-example                  ## 资源名，必须在集群内唯一
spec:
  logstore: k8s-stdout                         ## Logstore名，不存在时自动创建
  shardCount: 2                                ## [可选] logstore分区数，默认为2，支持1-10
  lifeCycle: 90                                ## [可选] 该logstore存储时间，默认为90，支持1-7300，7300天为永久存储
  logtailConfig:                               ## 详细配置
    inputType: plugin                          ## 采集的输入类型，一般为file或plugin
    configName: simple-stdout-example          ## 采集配置名，需要和资源名(metadata.name)一致
    inputDetail:                               ## 详细配置信息，具体请参考示例
      ...

• 极简文件
  采集环境变量配置中含有key为 ALIYUN_LOGTAIL_USER_DEFINED_ID的容器内日志文件，文件所处的路径为 /data/logs/app_1，文件名为 simple.LOG。

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: simple-file-example
  spec:
    # logstore name to upload log
    logstore: k8s-file
    # logtail config detail
    logtailConfig:
      # log file's input type is 'file'
      inputType: file
      # logtail config name, should be same with [metadata.name]
      configName: simple-file-example
      inputDetail:
        # 极简模式日志，logType设置为"common_reg_log"
        logType: common_reg_log
        # 日志文件夹
        logPath: /data/logs/app_1
        # 文件名, 支持通配符，例如log_*.log
        filePattern: simple.LOG
        # 采集容器内的文件，dockerFile flag设置为true
        dockerFile: true
        # only collect container with "ALIYUN_LOGTAIL_USER_DEFINED_ID" in docker env config
        dockerIncludeEnv:
          ALIYUN_LOGTAIL_USER_DEFINED_ID: ""

• 完整正则模式文件
  对于某Java程序日志样例为：

  [2018-05-11T20:10:16,000] [INFO] [SessionTracker] [SessionTrackerImpl.java:148] Expiring sessions
  java.sql.SQLException: Incorrect string value: '\xF0\x9F\x8E\x8F",...' for column 'data' at row 1
  at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:84)
  at org.springframework.jdbc.support.AbstractFallbackSQLException

  日志中由于包含错误堆栈信息，可能一条日志会被分解成多行，因此需要设置行首正则表达式；为了提取出各个字段，这里我们使用正则表达式进行提取，具体配置如下：

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: regex-file-example
  spec:
    # logstore name to upload log
    logstore: k8s-file
    logtailConfig:
      # log file's input type is 'file'
      inputType: file
      # logtail config name, should be same with [metadata.name]
      configName: regex-file-example
      inputDetail:
        # 对于正则类型的日志，将logType设置为common_reg_log
        logType: common_reg_log
        # 日志文件夹
        logPath: /app/logs
        # 文件名, 支持通配符，例如log_*.log
        filePattern: error.LOG
        # 行首正则表达式
        logBeginRegex: '\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*'
        # 解析正则
        regex: '\[([^]]+)]\s\[(\w+)]\s\[(\w+)]\s\[([^:]+):(\d+)]\s(.*)'
        # 提取出的key列表
        key : ["time", "level", "method", "file", "line", "message"]
        # 正则模式日志，时间解析默认从日志中的`time`提取，如果无需提取时间，可不设置该字段
        timeFormat: '%Y-%m-%dT%H:%M:%S'
        # 采集容器内的文件，dockerFile flag设置为true
        dockerFile: true
        # only collect container with "ALIYUN_LOGTAIL_USER_DEFINED_ID" in docker env config
        dockerIncludeEnv:
          ALIYUN_LOGTAIL_USER_DEFINED_ID: ""

  配置应用后，采集到日志服务的数据如下：

  
  
  

• 分隔符模式文件
  Logtail同时支持分隔符模式的日志解析，示例如下：

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: delimiter-file-example
  spec:
    # logstore name to upload log
    logstore: k8s-file
    logtailConfig:
      # log file's input type is 'file'
      inputType: file
      configName: delimiter-file-example
      # logtail config name, should be same with [metadata.name]
      inputDetail:
        # 对于分隔符类型的日志，logType设置为delimiter_log
        logType: delimiter_log
        # 日志文件夹
        logPath: /usr/local/ilogtail
        # 文件名, 支持通配符，例如log_*.log
        filePattern: delimiter_log.LOG
        # 使用多字符分隔符
        separator: '|&|'
        # 提取的key列表
        key : ['time', 'level', 'method', 'file', 'line', 'message']
        # 用作解析时间的key，如无需求可不填
        timeKey: 'time'
        # 时间解析方式，如无需求可不填
        timeFormat: '%Y-%m-%dT%H:%M:%S'
        # 采集容器内的文件，dockerFile flag设置为true
        dockerFile: true
        # only collect container with "ALIYUN_LOGTAIL_USER_DEFINED_ID" in docker env config
        dockerIncludeEnv:
          ALIYUN_LOGTAIL_USER_DEFINED_ID: ''

• JSON模式文件
  若文件中每行数据为一个JSON object，可以使用JSON方式进行解析，示例如下：

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: json-file-example
  spec:
    # logstore name to upload log
    logstore: k8s-file
    logtailConfig:
      # log file's input type is 'file'
      inputType: file
      # logtail config name, should be same with [metadata.name]
      configName: json-file-example
      inputDetail:
        # 对于分隔符类型的日志，logType设置为json_log
        logType: json_log
        # 日志文件夹
        logPath: /usr/local/ilogtail
        # 文件名, 支持通配符，例如log_*.log
        filePattern: json_log.LOG
        # 用作解析时间的key，如无需求可不填
        timeKey: 'time'
        # 时间解析方式，如无需求可不填
        timeFormat: '%Y-%m-%dT%H:%M:%S'
        # 采集容器内的文件，dockerFile flag设置为true
        dockerFile: true
        # only collect container with "ALIYUN_LOGTAIL_USER_DEFINED_ID" in docker env config
        dockerIncludeEnv:
          ALIYUN_LOGTAIL_USER_DEFINED_ID: ""