Kubernetes-CRD配置日志采集

实现原理

执行安装命令时会自动安装alibaba-log-controller的Helm包。Helm包中主要执行了以下操作：

1. 创建aliyunlogconfigs CRD（CustomResourceDefinition）。
2. 部署alibaba-log-controller的Deployment。
3. 部署Logtail的DaemonSet。

具体配置的内部工作流程如下：

1. 用户使用kubectl或其他工具应用aliyunlogconfigs CRD配置。
2. alibaba-log-controller监听到配置更新。
3. alibaba-log-controller根据CRD内容以及服务端状态，自动向日志服务提交logstore创建、配置创建以及应用机器组的请求。
4. 以DaemonSet模式运行的Logtail会定期请求配置服务器，获取新的或已更新的配置并进行热加载。
5. Logtail根据配置信息采集各个容器（POD）上的标准输出或文件。
6. 最终Logtail将处理、聚合好的数据发送到日志服务。

配置方式

apiVersion: log.alibabacloud.com/v1alpha1      ## 默认值，无需改变
kind: AliyunLogConfig                          ## 默认值，无需改变
metadata:
  name: simple-stdout-example                  ## 资源名，必须在集群内唯一
spec:
  project: k8s-my-project                      ## [可选]Project名，默认为安装时设置的project，若指定project请确保该project没有被别人占用
  logstore: k8s-stdout                         ## Logstore名，不存在时自动创建
  shardCount: 2                                ## [可选] logstore分区数，默认为2，支持1-10
  lifeCycle: 90                                ## [可选] 该logstore存储时间，默认为90，支持1-7300，7300天为永久存储
  logtailConfig:                               ## 详细配置
    inputType: plugin                          ## 采集的输入类型，一般为file或plugin
    configName: simple-stdout-example          ## 采集配置名，需要和资源名(metadata.name)一致
    inputDetail:                               ## 详细配置信息，具体请参考示例
      ...

配置完成并应用配置后，会自动创建alibaba-log-controller。

查看配置

您可以通过Kubernetes CRD或控制台查看配置。

• 使用kubectl get aliyunlogconfigs查看当前所有配置。

  [root@iZbp1dsbiaZ ~]# kubectl get aliyunlogconfigs
  NAME                   AGE
  regex-file-example     10s
  regex-stdout-example   4h
  simple-file-example    5s

• 使用kubectl get aliyunlogconfigs ${config_name} -o yaml查看详细配置和状态。

  配置中status字段显示配置执行的结果，若配置应用成功，status字段中的statusCode为200。若statusCode非200，则说明配置应用失败。

  [root@iZbp1dsbiaZ ~]# kubectl get aliyunlogconfigs simple-file-example -o yaml
  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"log.alibabacloud.com/v1alpha1","kind":"AliyunLogConfig","metadata":{"annotations":{},"name":"simple-file-example","namespace":"default"},"spec":{"logstore":"k8s-file","logtailConfig":{"configName":"simple-file-example","inputDetail":{"dockerFile":true,"dockerIncludeEnv":{"ALIYUN_LOGTAIL_USER_DEFINED_ID":""},"filePattern":"simple.LOG","logPath":"/usr/local/ilogtail","logType":"common_reg_log"},"inputType":"file"}}}
  clusterName: ""
  creationTimestamp: 2018-05-17T08:44:46Z
  generation: 0
  name: simple-file-example
  namespace: default
  resourceVersion: "21790443"
  selfLink: /apis/log.alibabacloud.com/v1alpha1/namespaces/default/aliyunlogconfigs/simple-file-example
  uid: 8d3a09c4-59ae-11e8-851d-00163f008685
  spec:
  lifeCycle: null
  logstore: k8s-file
  logtailConfig:
    configName: simple-file-example
    inputDetail:
      dockerFile: true
      dockerIncludeEnv:
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ""
      filePattern: simple.LOG
      logPath: /usr/local/ilogtail
      logType: common_reg_log
    inputType: file
  machineGroups: null
  project: ""
  shardCount: null
  status:
  status: OK
  statusCode: 200

配置示例

容器标准输出

容器标准输出中，需要将inputType设置为plugin，并将具体信息填写到inputDetail下的plugin字段，详细配置字段及其含义请参考容器标准输出。

• 极简采集方式

  采集除了环境变量中配置COLLECT_STDOUT_FLAG=false之外所有容器的标准输出（stdout和stderr）。

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: simple-stdout-example
  spec:
    # logstore name to upload log
    logstore: k8s-stdout
    # logtail config detail
    logtailConfig:
      # docker stdout's input type is 'plugin'
      inputType: plugin
      # logtail config name, should be same with [metadata.name]
      configName: simple-stdout-example
      inputDetail:
        plugin:
          inputs:
            -
              # input type
              type: service_docker_stdout
              detail:
                # collect stdout and stderr
                Stdout: true
                Stderr: true
                # collect all container's stdout except containers with "COLLECT_STDOUT_FLAG:false" in docker env config
                ExcludeEnv:
                  COLLECT_STDOUT_FLAG: "false"

• 自定义处理采集方式

  采集grafana的access log，并将access log解析成结构化数据。

  grafana的容器配置中包含环境变量为：GF_INSTALL_PLUGINS=grafana-piechart-....，通过配置IncludeEnv为GF_INSTALL_PLUGINS: ''指定Logtail只采集该容器的标准输出。

  
  
  

  grafana的access log格式如下：

  t=2018-03-09T07:14:03+0000 lvl=info msg="Request Completed" logger=context userId=0 orgId=0 uname= method=GET path=/ status=302 remote_addr=172.16.64.154 time_ms=0 size=29 referer=

  使用正则表达式解析access log，具体配置如下：

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  metadata:
    # your config name, must be unique in you k8s cluster
    name: regex-stdout-example
  spec:
    # logstore name to upload log
    logstore: k8s-stdout-regex
    # logtail config detail
    logtailConfig:
      # docker stdout's input type is 'plugin'
      inputType: plugin
      # logtail config name, should be same with [metadata.name]
      configName: regex-stdout-example
      inputDetail:
        plugin:
          inputs:
            -
              # input type
              type: service_docker_stdout
              detail:
                # 只采集stdout，不采集stderr
                Stdout: true
                Stderr: false
                # 只采集容器环境变量中配置key为"GF_INSTALL_PLUGINS"的stdout 
                IncludeEnv:
                  GF_INSTALL_PLUGINS: ''
          processors:
            -
              # 使用正则表达式处理
              type: processor_regex
              detail:
                # docker 采集的数据默认key为"content"
                SourceKey: content
                # 正则表达式提取
                Regex: 't=(\d+-\d+-\w+:\d+:\d+\+\d+) lvl=(\w+) msg="([^"]+)" logger=(\w+) userId=(\w+) orgId=(\w+) uname=(\S*) method=(\w+) path=(\S+) status=(\d+) remote_addr=(\S+) time_ms=(\d+) size=(\d+) referer=(\S*).*'
                # 提取出的key
                Keys: ['time', 'level', 'message', 'logger', 'userId', 'orgId', 'uname', 'method', 'path', 'status', 'remote_addr', 'time_ms', 'size', 'referer']
                # 保留原始字段
                KeepSource: true
                NoKeyError: true
                NoMatchError: true

  配置应用后，采集到日志服务的数据如下：

  
  
  

容器文件