概述

使用限制

• 性能限制

  使用Logtail插件进行数据处理时，Logtail会消耗更多的资源（以CPU为主），请根据实际情况调整Logtail的参数配置。更多信息，请参见配置Logtail启动参数。当原始数据量的生成速度超过5 MB/s时，不建议您使用过于复杂的插件组合来处理数据，您可以使用Logtail插件进行简单处理，再通过数据加工完成进一步处理。

• 文本日志限制
  在固定解析模式基础上，日志服务支持通过插件处理采集到的文本日志，更多信息，请参见使用插件处理文本日志，但存在以下限制：

  • 启用插件处理后，部分文本模式的高级功能将失效，包括过滤器配置、上传原始日志、机器时区、丢弃解析失败日志、接受部分字段（分隔符模式）等，但其中部分功能可通过相关插件实现。
  • 插件对文本日志的处理采用行模式，即文件级别的元数据（例如__tag__:__path__、__topic__等）会被存放到每条日志中，启用插件处理后会影响和Tag相关的功能，包括：
    • 无法使用上下文查询、LiveTail功能，这些功能依赖于__tag__:__path__等字段。
    • __topic__字段会被重命名为__log_topic__。
    • __tag__:__path__等字段不再具备原生字段索引，需单独创建索引。

配置说明

处理配置的Key为processors，Value为JSON Object数组，数组内每个Object代表一个处理配置。

"processors" : [
      {
          "type" : "processor_split_char",
          "detail" : {"SourceKey" : "content",
              "SplitSep" : "|",
              "SplitKeys" : ["method", "type", "ip", "time", "req_id", "size", "detail"]
          }
      },
      {
          "type" : "processor_anchor",
          "detail" : "SourceKey" : "detail",
              "Anchors" : [
                  {
                      "Start" : "appKey=",
                      "Stop" : ",env=",
                      "FieldName" : "appKey",
                      "FieldType" : "string"
                  }            
              ]
          }
  ]

您可以使用Logtail插件完成如下操作。