字段值映射处理

您在使用Logtail采集日志时,可以使用processor_dict_map插件进行字段值映射。本文介绍processor_dict_map插件的参数说明和配置示例。

使用限制

文本日志和容器标准输出只支持表单配置方式,其余输入插件只支持JSON配置方式。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail采集配置时,添加插件配置。具体操作,请参见处理插件概述

配置说明

表单配置方式

配置处理器类型字段值映射处理,相关参数说明如下表所示。

参数

说明

原始字段

原始字段名。

结果字段

映射后的结果字段名。

映射字典

映射字典。设置键和值,将键映射到值上。

映射字典较小时,可直接通过此参数完成设置。不需要提供本地的CSV字典文件。

重要

当您设置了本地字典后,映射字典配置不生效。

本地字典

CSV格式的字典文件。该CSV文件的分隔符为半角逗号(,),字段引用表示为半角引号(")。

高级参数>处理原始字段缺失

选中该选项后,当原始日志中缺失目标字段时,将处理缺失字段,即按照结果字段填充值中的值进行填充。

高级参数>映射字典最大大小

映射字典的最大大小。默认值为1000,即最多可存储1000条映射规则。

如果要限制插件对服务器内存的占用,可调小该值。

高级参数>原日志处理方法

当映射后的字段在原始日志中已存在时的处理方式。

  • overwrite(默认值):覆写原字段。

  • fill:不覆写原字段。

JSON配置方式

配置typeprocessor_dict_mapdetail说明如下表所示。

参数

类型

是否必选

说明

SourceKey

String

原始字段名。

MapDict

Map

映射字典。

映射字典较小时,可直接通过此参数完成设置。不需要提供本地的CSV字典文件。

重要

当您设置了DictFilePath参数后,MapDict参数中的配置不生效。

DictFilePath

String

CSV格式的字典文件。该CSV文件的分隔符为半角逗号(,),字段引用表示为半角引号(")。

DestKey

String

映射后的字段名。

HandleMissing

Boolean

当原始日志中缺失目标字段时,系统是否处理。

  • true:处理。

    系统将按照Missing参数中的值进行填充。

  • false(默认值):不处理。

Missing

String

处理原始日志中缺失的目标字段时,设置对应的填充值。默认值为Unknown

当配置HandleMissing为true时,该参数配置生效。

MaxDictSize

Int

映射字典的最大大小。默认值为1000,即最多可存储1000条映射规则。

如果要限制插件对服务器内存的占用,可调小该值。

Mode

String

当映射后的字段在原始日志中已存在时的处理方式。

  • overwrite(默认值):覆写原字段。

  • fill:不覆写原字段。