文档

字段提取模式

更新时间:

本文介绍函数中字段提取模式参数的取值以及含义。

相关函数

以下为使用字段提取模式mode参数的函数列表及其参数默认值。

分类

函数

mode的默认值

字段值赋值函数

e_set

overwrite

字段值提取函数

e_regex

fill-auto

e_json

fill-auto

e_kv

fill-auto

e_csv、e_psv、e_tsv

fill-auto

e_kv_delimit

fill-auto

e_anchor

overwrite

e_syslogrfc

overwrite

映射富化函数

e_dict_map

fill-auto

e_table_map

fill-auto

e_search_dict_map

overwrite

e_search_table_map

fill-auto

字段提取检查与覆盖模式

下表介绍字段提取模式mode参数的不同取值以及说明。

参数值

说明

fill

当目标字段不存在或者值为空时,设置目标字段。

fill-auto

当新值非空,且目标字段不存在或者值为空时,设置目标字段。

add

当目标字段不存在时,设置目标字段。

add-auto

当新值非空,且目标字段不存在时,设置目标字段。

overwrite

总是设置目标字段。

overwrite-auto

当新值非空,设置目标字段。

以下通过示例的方式对不同模式进行说明:

  • 原始日志

    a:         # 空值
    b: 100
  • 加工示例

    模式

    示例

    加工结果

    add

    e_set("c", "123", mode='add')

    a:# 空值
    b: 100
    c: 123

    e_set("c", "", mode='add')

    a:# 空值
    b: 100
    c:

    e_set("a", "123", mode='add')

    a:# 空值
    b: 100

    add-auto

    e_set("c", "", mode='add-auto')

    不添加字段c,原始日志不变。

    fill

    e_set("c", "123", mode='fill')

    a:# 空值
    b: 100
    c: 123

    e_set("c", "", mode='fill')

    a:# 空值
    b: 100
    c:

    e_set("a", "123", mode='fill')

    a: 123
    b: 100

    e_set("b", "123", mode='fill')

    目标字段不变,仍为b: 100

    fill-auto

    e_set("c", "", mode='fill-auto')

    不添加字段c,原始日志不变。

    overwrite

    e_set("c", "123", mode='overwrite')

    a:# 空值
    b: 100
    c: 123

    e_set("c", "", mode='overwrite')

    a:# 空值
    b: 100
    c: 

    e_set("b", "200", mode='overwrite')

    a:# 空值
    b: 200

    e_set("b", "", mode='overwrite')

    a:# 空值
    b: 

    overwrite-auto

    e_set("b", "", mode='overwrite-auto')

    目标字段不变,仍为b: 100

字段名提取约束

适用于e_json、e_kv,e_kv_delimit、e_regex等函数。

提取的字段名必须满足字符条件,否则会被丢弃。不支持正则表达式u'_*[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\u4e00-\u9fa5\u0800-\u4e00\\w\\.\\-]*'。例如123=abc__1__:1001k=200{"123": "456"}等字段名会被丢弃。

示例:使用默认的字段约束名。

  • 原始日志

    data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } }
  • 加工规则

    e_json(
        "data",
        fmt="parent",
        sep="@",
        prefix="__",
        suffix="__",
        include_node=r"[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\w\-\.]*",
        mode="fill-auto",
    )
  • 加工结果

    data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } }
    data@__k1__:100
    k2@__k3__:200
    k4@__k5__:300