处理插件是采集配置中的重要工具。采集配置中的处理配置,是通过使用不同的处理插件组合,从而实现将原始日志解析为结构化数据的能力。
原生插件列表
插件名称 | 说明 |
正则解析 | 使用正则表达式提取日志字段,并将日志解析为键值对形式。更多信息,请参见原生插件:正则解析。 |
JSON解析 | 将JSON日志解析为键值对形式。更多信息,请参见原生插件:JSON解析。 |
分隔符模式解析 | 将分隔符模式的日志结构化,解析为键值对形式。更多信息,请参见原生插件:分隔符模式解析。 |
Nginx模式解析 | 将Nginx日志结构化,解析为键值对形式。更多信息,请参见原生插件:Nginx模式解析。 |
Apache模式解析 | 将Apache日志结构化,解析为键值对形式。更多信息,请参见原生插件:Apache模式解析。 |
IIS模式解析 | 将IIS日志结构化,解析为键值对形式。更多信息,请参见原生插件:IIS模式解析。 |
时间解析 | 解析日志时间。更多信息,请参见原生插件:时间解析。 |
过滤处理 | 过滤日志。更多信息,请参见原生插件:过滤处理。 |
脱敏处理 | 对日志进行脱敏。更多信息,请参见原生插件:脱敏处理插件。 |
扩展插件
功能 | 说明 |
提取字段 | 使用正则模式提取字段。更多信息,请参见正则模式。 |
使用标定模式提取字段。更多信息,请参见标定模式。 | |
使用CSV模式提取字段。更多信息,请参见CSV模式。 | |
使用单字符分隔符模式提取字段。更多信息,请参见单字符分隔符模式。 | |
使用多字符分隔符模式提取字段。更多信息,请参见多字符分隔符模式。 | |
使用键值对模式提取字段。更多信息,请参见键值对模式。 | |
使用Grok模式提取字段。更多信息,请参见Grok模式。 | |
添加字段 | 添加字段。更多信息,请参见扩展插件:添加字段。 |
丢弃字段 | 丢弃字段。更多信息,请参见扩展插件:丢弃字段。 |
重命名字段 | 重命名字段。更多信息,请参见扩展插件:重命名字段。 |
打包字段 | 将一个或多个字段打包为一个JSON Object格式的字段。更多信息,请参见扩展插件:打包字段。 |
展开JSON字段 | 对字段值进行JSON展开。更多信息,请参见扩展插件:展开JSON字段。 |
过滤日志 | 通过正则表达式匹配日志字段的值,从而实现日志过滤。更多信息,请参见processor_filter_regex。 |
通过正则表达式匹配日志字段名称,从而实现日志过滤。更多信息,请参见processor_filter_key_regex。 | |
提取日志时间 | 解析原始日志中的时间字段,并可将解析结果设置为日志时间。更多信息,请参见Go语言时间格式。 |
转换IP地址 | 将日志中的IP地址转换为地理位置(国家、省份、城市、经纬度)。更多信息,请参见扩展插件:转换IP地址。 |
数据脱敏 | 将日志中的敏感数据替换为指定字符串或MD5值。更多信息,请参见扩展插件:数据脱敏。 |
字段值映射 | 对字段值进行映射。更多信息,请参见扩展插件:字段值映射处理。 |
字段加密 | 对指定字段进行加密。更多信息,请参见扩展插件:字段加密。 |
数据编码与解码 | 对字段值进行解码。更多信息,请参见BASE64解码。 |
对字段值进行编码。更多信息,请参见BASE64编码。 | |
对字段值进行MD5编码。更多信息,请参见MD5编码。 | |
Log转为Metric | 将采集到的日志转成SLS Metric。更多信息,请参见扩展插件:Log转为Metric。 |
Log转为Trace | 将采集到的日志转成SLS Trace。更多信息,请参见扩展插件:Log转为Trace。 |