Logtail插件概述_日志服务-阿里云帮助中心

Logtail提供处理插件用于将原始日志进一步解析为结构化数据。

Logtail处理插件具体可分为原生处理插件和扩展处理插件。

原生插件：性能较优，适用于大部分业务场景，推荐优先使用。
扩展插件：功能覆盖更广，当您的业务日志过于复杂以致于无法使用原生插件完成处理，您可以考虑使用扩展插件完成日志解析，但性能会有一定影响。

使用限制

性能限制
使用Logtail扩展插件进行日志处理时，Logtail会消耗更多的资源（以CPU为主），请根据实际情况调整Logtail的参数配置。更多信息，请参见设置Logtail启动参数。当原始数据量的生成速度超过5 MB/s时，不建议您使用过于复杂的插件组合来处理日志，您可以使用Logtail扩展插件进行简单处理，再通过数据加工完成进一步处理。
日志采集限制
扩展插件对文本日志的处理采用行模式，即文件级别的元数据（例如__tag__:__path__、__topic__等）会被存放到每条日志中，添加扩展插件后会影响和Tag相关的功能，包括：
- 默认情况下，上下文查询和LiveTail功能不可用。
  如果您要使用这些功能，需要额外添加aggregators配置。
- 默认情况下，__topic__字段会被重命名为__log_topic__。
  如果您添加了aggregators配置，日志中将同时存在__topic__字段和__log_topic__字段。如果您不需要__log_topic__字段，可使用processor_drop插件删除该字段。
- __tag__:__path__等字段不再具备原生字段索引，需单独创建索引。

功能入口

当您需要使用Logtail插件解析日志时，您可以在创建或修改Logtail配置时，添加插件。

在修改Logtail配置时添加插件

登录日志服务控制台。
在Project列表区域，单击目标Project。
在日志存储 > 日志库页签中，单击目标日志库前面的>，依次选择数据接入 > Logtail配置。
在Logtail配置列表中，单击目标Logtail配置。
在Logtail配置页面，单击编辑。
在处理配置区域，添加Logtail插件，然后单击保存。

在创建Logtail配置时添加插件

在创建Logtail配置时，您也可以添加Logtail插件，即您在接入数据区域的自建开源/商业软件页签下，选择目标数据源，完成选择日志空间、创建机器组、机器组配置等步骤后，可以在Logtail配置或数据源设置步骤中，添加插件。具体操作，请参见采集主机文本日志。

该插件配置与在修改Logtail配置时的插件配置相同。

Logtail处理插件列表

重要

目前，原生插件仅可用于采集文本日志。
不支持同时添加原生插件和扩展插件。
使用原生插件时，须符合如下要求：
- 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、NGINX模式解析插件、Apache模式解析插件或IIS模式解析插件。
- 第一个处理插件之后仅允许存在1个时间解析处理插件，1个过滤插件和多个脱敏插件。

原生插件

插件名称	说明
正则解析	使用正则表达式提取日志字段，并将日志解析为键值对形式。更多信息，请参见正则解析。
JSON解析	将JSON日志解析为键值对形式。更多信息，请参见JSON解析。
分隔符模式解析	将分隔符模式的日志结构化，解析为键值对形式。更多信息，请参见分隔符模式解析。
Nginx模式解析	将Nginx日志结构化，解析为键值对形式。更多信息，请参见Nginx模式解析。
Apache模式解析	将Apache日志结构化，解析为键值对形式。更多信息，请参见Apache模式解析。
IIS模式解析	将IIS日志结构化，解析为键值对形式。更多信息，请参见IIS模式解析。
时间解析	解析日志时间。更多信息，请参见时间解析。
过滤处理	过滤日志。更多信息，请参见过滤处理。
脱敏处理	对日志进行脱敏。更多信息，请参见脱敏处理。

扩展插件

功能	说明
提取字段	使用正则模式提取字段。更多信息，请参见正则模式。
	使用标定模式提取字段。更多信息，请参见标定模式。
	使用CSV模式提取字段。更多信息，请参见CSV模式。
	使用单字符分隔符模式提取字段。更多信息，请参见单字符分隔符模式。
	使用多字符分隔符模式提取字段。更多信息，请参见多字符分隔符模式。
	使用键值对模式提取字段。更多信息，请参见键值对模式。
	使用Grok模式提取字段。更多信息，请参见Grok模式。
添加字段	添加字段。更多信息，请参见添加字段。
丢弃字段	丢弃字段。更多信息，请参见丢弃字段。
重命名字段	重命名字段。更多信息，请参见重命名字段。
打包字段	将一个或多个字段打包为一个JSON Object格式的字段。更多信息，请参见打包字段。
展开JSON字段	对字段值进行JSON展开。更多信息，请参见展开JSON字段。
过滤日志	通过正则表达式匹配日志字段的值，从而实现日志过滤。更多信息，请参见processor_filter_regex。
过滤日志	通过正则表达式匹配日志字段名称，从而实现日志过滤。更多信息，请参见processor_filter_key_regex。
提取日志时间	解析原始日志中的时间字段，并可将解析结果设置为日志时间。更多信息，请参见Go语言时间格式。
转换IP地址	将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。更多信息，请参见转换IP地址。
数据脱敏	将日志中的敏感数据替换为指定字符串或MD5值。更多信息，请参见数据脱敏。
字段值映射	对字段值进行映射。更多信息，请参见字段值映射处理。
字段加密	对指定字段进行加密。更多信息，请参见字段加密。
数据编码与解码	对字段值进行解码。更多信息，请参见BASE64解码。
	对字段值进行编码。更多信息，请参见BASE64编码。
	对字段值进行MD5编码。更多信息，请参见MD5编码。
Log转为Metric	将采集到的日志转成SLS Metric。更多信息，请参见Log转为Metric。
Log转为Trace	将采集到的日志转成SLS Trace。更多信息，请参见Log转为Trace。