数据采集时处理（处理插件）

背景信息

处理插件可分为原生处理插件和扩展处理插件。

• 原生插件：性能较优，适用于大部分业务场景，推荐优先使用。

• 扩展插件：功能覆盖更广，当您的业务日志过于复杂，无法使用原生插件处理时，可以考虑使用扩展插件完成日志解析，但性能会受到一定影响。

使用限制

• 性能限制

  • 使用扩展插件进行日志处理时，采集器会消耗更多的资源（以CPU为主），请根据实际情况调整采集器的参数配置，更多信息请参见配置管理。

  • 当原始数据量的生成速度超过5 MB/s时，不建议使用过于复杂的插件组合来处理日志，推荐使用扩展插件进行简单处理，再通过数据加工完成进一步处理。

• 日志采集限制

  • 扩展插件对文本日志的处理采用行模式，即文件级别的元数据（例如__tag__:__path__、__topic__等）会被存放到每一条日志中。

  • 添加扩展插件后会影响和Tag相关的功能：

    • 上下文查询和LiveTail功能不可用。如果您要使用这些功能，需要额外添加aggregators配置。

    • __topic__字段会被重命名为__log_topic__。如果您添加了aggregators配置，日志中将同时存在__topic__字段和__log_topic__字段。如果您不需要__log_topic__字段，可使用processor_drop插件删除该字段。

    • __tag__:__path__等字段不再具备原生字段索引，需要创建字段索引。

• 插件组合限制

  • Logtail 2.0以下版本（不包括2.0版本）：

    • 不支持同时添加原生插件和扩展插件。

    • 原生插件仅可用于采集文本日志。使用原生插件时，须符合如下要求：

      • 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

      • 第一个处理插件之后仅允许存在1个时间解析处理插件，1个过滤插件和多个脱敏插件。

  • Logtail 2.0版本：扩展处理插件只能出现在所有的原生处理插件之后，不能出现在任何原生处理插件之前。

• 原生插件解析参数组合限制

  对于Logtail 2.0以下版本的正则解析、JSON解析、分隔符解析、Nginx模式解析、Apache模式解析、IIS模式解析的原生插件，您可以根据不同场景选择不同的参数配置组合。其余的配置组合无效，日志服务不能保证配置效果。

  • 只上传解析成功的日志：

    不勾选解析失败时保留原始字段和解析成功时保留原始字段。

  • 解析成功时上传解析后的日志，解析失败时上传原始日志：

    勾选解析失败时保留原始字段，不勾选解析成功时保留原始字段，将重命名的原始字段设置为__raw__。

  • 解析成功时不仅上传解析后的日志，且追加原始日志字段，解析失败时上传原始日志。

    例如，原始日志"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始字段是在解析后日志的基础上再增加一个字段，字段名为重命名的原始字段（如果不填则默认为原始字段名），字段值为原始日志{"request_method":"GET", "request_time":"200"}。

    勾选解析失败时保留原始字段和解析成功时保留原始字段，打开高级参数开关并填入 {"CopingRawLog":true}。对于 Logtail 2.0 以下版本，仅部分参数组合有效。

处理插件列表

原生插件列表

扩展插件

添加插件