处理采集数据

实现原理

数据处理配置的实现原理如下图所示。

使用说明

为采集数据配置处理方式，处理配置的key为processors，value为json object的数组，数组内每个object代表一个处理方式。

"processors" : [
        {
            "type" : "processor_anchor",
            "detail" : {
                ...
            }
        },
        {
            "type" : "processor_regex",
            "detail" : {
                ...
            }
        }
    ]

处理方式

目前支持的处理方式如下：

• 正则提取
• 标定提取
• 单字分隔符
• 多字符分隔符
• GeoIP转换
• 正则过滤
• 字段添加
• 字段丢弃
• 日志时间提取（Golang）
• JSON 处理
• 字段打包（JSON）
• 字段重命名
• 日志时间提取（Strptime）

正则提取

该方式通过对指定字段进行正则表达式匹配来提取其中匹配的字段。

提取Access日志，详细配置示例如下：

• 输入

  "content" : "10.200.**.** - - [10/Aug/2017:14:57:51 +0800] \"POST /PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature> HTTP/1.1\" 0.024 18204 200 37 \"-\" \"aliyun-sdk-java"

• 配置详情

  {
      "type" : "processor_regex",
      "detail" : {"SourceKey" : "content",
           "Regex" : "([\\d\\.]+) \\S+ \\S+ \\[(\\S+) \\S+\\] \"(\\w+) ([^\\\"]*)\" ([\\d\\.]+) (\\d+) (\\d+) (\\d+|-) \"([^\\\"]*)\" \"([^\\\"]*)\" (\\d+)",
           "Keys"   : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"],
           "NoKeyError" : true,
           "NoMatchError" : true,
           "KeepSource" : false
      }
  }

• 处理后结果

  "ip" : "10.200.**.**"
  "time" : "10/Aug/2017:14:57:51"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

标定提取

该插件通过标定指定字段起始和结束关键字进行提取，标定后的字符串支持直接提取和JSON展开。

如下配置示例对某混合类型输入的处理结果如下：

• 输入

  "content" : "time:2017.09.12 20:55:36\tjson:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• 配置详情

  {
     "type" : "processor_anchor",
     "detail" : {"SourceKey" : "content",
        "Anchors" : [
            {
                "Start" : "time",
                "Stop" : "\t",
                "FieldName" : "time",
                "FieldType" : "string",
                "ExpondJson" : false
            },
            {
                "Start" : "json:",
                "Stop" : "",
                "FieldName" : "val",
                "FieldType" : "json",
                "ExpondJson" : true 
            }
        ]
    }
  }

• 处理后结果

  "time" : "2017.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

单字符分隔符

该插件通过指定分隔符对字段进行分割，可指定Quote进行分隔符屏蔽。

对分隔符数据采用单字符分隔符处理方式，配置示例详情及处理结果如下：

• 输入

  "content" : "10.**.**.**|10/Aug/2017:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• 配置详情

  {
     "type" : "processor_split_char",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
    }
  }

• 处理后结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2017:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

多字符分隔符

和单字符分隔符类似，多字符分隔符不支持Quote，完全按照分隔符拆分日志。

对分隔符数据输入采用多字符分隔符方式处理，配置示例详情及处理结果如下：

• 输入

  "content" : "10.**.**.**|#|10/Aug/2017:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|37|#|-|#|
  aliyun-sdk-java"

• 配置详情

  {
     "type" : "processor_split_string",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|#|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
        "PreserveOthers" : true,
        "ExpandOthers" : true,
        "ExpandKeyPrefix" : "expand_"
    }
  }

• 处理后结果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2017:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

GeoIP转换

GeoIP转换对数据中的IP进行地理位置转换，能够将IP转换成：国家、省份、城市、经纬度。

对输入的IP采用GeoIP转换成地理位置信息，配置示例详情及处理结果如下：

• 输入

  "source_ip" : "**.**.**.**"

  下载GeoIP数据库到安装Logtail的主机，可使用MaxMind GeoLite2中的City数据库。

  说明 请检查数据库格式为mmdb类型。
• 配置详情

  {
     "type": "processor_geoip",
      "detail": {
           "SourceKey": "ip",
           "NoKeyError": true,
           "NoMatchError": true,
           "KeepSource": true,
           "DBPath" : "/user/local/data/GeoLite2-City_20180102/GeoLite2-City.mmdb"
      }
  }

• 配置后结果

  "source_ip_city_" : "**.**.**.**"
  "source_ip_province_" : "浙江省"
  "source_ip_city_" : "杭州"
  "source_ip_province_code_" : "ZJ"
  "source_ip_country_code_" : "CN"
  "source_ip_longitude_" : "120.********"
  "source_ip_latitude_" : "30.********"

正则过滤

该插件通过对字段进行正则表达式匹配对日志进行过滤，可组合使用Include和Exclude两种方式。

该插件的类型为processor_filter_regex。

对输入日志采正则过滤方式处理，配置示例详情及处理结果如下：

• 输入
  • 日志1

    "ip" : "10.**.**.**"
    "method" : "POST"
    ...
    "browser" : "aliyun-sdk-java"

  • 日志2

    "ip" : "10.**.**.**"
    "method" : "POST"
    ...
    "browser" : "chrome"

  • 日志3

    "ip" : "192.168.*.*"
    "method" : "POST"
    ...
    "browser" : "ali-sls-ilogtail"

• 配置详情

  {
     "type" : "processor_filter_regex",
      "detail" : {
           "Include" : {
              "ip" : "10\\..*",
              "method" : "POST"
           },
           "Exclude" : {
              "browser" : "aliyun.*"
           }
      }
  }

• 处理后结果

  日志	是否匹配	原因
  日志1	不匹配	browser匹配上了Exclude。
  日志2	匹配	-
  日志3	不匹配	Include中ip字段不以10开头，不匹配。

字段添加

通过该插件可以为日志数据添加指定的字段（支持添加多个字段）。

字段丢弃

通过该插件对日志数据中指定的字段进行丢弃。

日志时间提取（Golang）

该插件可以从指定字段中提取日志时间，并将其转换为其他字段。提取及转换所使用的时间格式为Golang Time Format。

JSON 处理

通过该插件可以对指定字段进行JSON展开。

字段打包（JSON）

通过该插件可以将指定字段（支持多个）打包成JSON格式的字段。

字段重命名

通过该插件可以对指定字段（支持多个）进行重命名。

日志时间提取（Strptime）

通过该插件可以从指定字段中提取日志时间，时间格式为Linux strptime。

组合配置

各个处理配置可以组合搭配使用。您可以参考下述配置对日志先进行分隔符切分，再对切分后的detail进行标定提取。

• 输入

  "content" : 
  "ACCESS|QAS|11.**.**.**|1508729889935|52460dbed4d540b88a973cf5452b1447|1238|appKey=ba,env=pub,requestTime=1508729889913,latency=22ms,
  request={appKey:ba,optional:{\\domains\\:\\daily\\,\\version\\:\\v2\\},rawQuery:{\\query\\:\\去乐山的路线\\,\\domain\\:\\导航\\,\\intent\\:\\navigate\\,\\slots\\:\\to_geo:level3=乐山\\,\\location\\:\\北京\\},
  requestId:52460dbed4d540b88a973cf5452b1447},
  response={answers:[],status:SUCCESS}|"

• 配置详情

  "processors" : [
        {
            "type" : "processor_split_char",
            "detail" : {"SourceKey" : "content",
                "SplitSep" : "|",
                "SplitKeys" : ["method", "type", "ip", "time", "req_id", "size", "detail"]
            }
        },
        {
            "type" : "processor_anchor",
            "detail" : "SourceKey" : "detail",
                "Anchors" : [
                    {
                            "Start" : "appKey=",
                        "Stop" : ",env=",
                        "FieldName" : "appKey",
                        "FieldType" : "string"
                    },
                    {
                        "Start" : ",env",
                        "Stop" : ",requestTime=",
                        "FieldName" : "env",
                        "FieldType" : "string"
                    },
                    {
                        "Start" : ",requestTime=",
                        "Stop" : ",latency",
                        "FieldName" : "requestTime",
                        "FieldType" : "string"
                    },
                    {
                        "Start" : ",latency=",
                        "Stop" : ",request=",
                        "FieldName" : "latency",
                        "FieldType" : "string"
                    },
                    {
                        "Start" : ",request=",
                        "Stop" : ",response=",
                        "FieldName" : "request",
                        "FieldType" : "string"
                    },
                    {
                        "Start" : ",response=",
                        "Stop" : "",
                        "FieldName" : "response",
                        "FieldType" : "json"
                    }
                ]
            }
        }
    ]

• 处理后结果

  "method" : "ACCESS"
  "type" : "QAS"
  "ip" : "**.**.**.**"
  "time" : "1508729889935"
  "req_id" : "52460dbed4d540b88a973cf5452b1447"
  "size" : "1238"
  "appKey" : "ba"  
  "env" : "pub"
  "requestTime" : "1508729889913"
  "latency" : "22ms"
  "request" : "{appKey:nui-banma,optional:{\\domains\\:\\daily-faq\\,\\version\\:\\v2\\},rawQuery:{\\query\\:\\\345\216\273\344\271\220\345\261\261\347\232\204\350\267\257\347\272\277\\,\\domain\\:\\\345\257\274\350\210\252\\,\\intent\\:\\navigate\\,\\slots\\:\\to_geo:level3=\344\271\220\345\261\261\\,\\location\\:\\\345\214\227\344\272\254\\},requestId:52460dbed4d540b88a973cf5452b1447}"  
  "response_answers" : "[]"
  "response_status" : "SUCCESS"