数据脱敏

您在使用Logtail采集日志时,可以使用processor_desensitize插件,将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。

重要
  • 表单配置方式:采集文本日志和容器标准输出时可用。

  • JSON配置方式:采集文本日志时不可用。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件配置。具体操作,请参见功能入口

配置说明

重要

Logtail 1.3.0及以上版本支持processor_desensitize插件。

表单配置方式

配置处理器类型数据脱敏,相关参数说明如下表所示。

  • 参数说明

    参数

    说明

    原始字段

    日志字段名称。

    脱敏方式

    脱敏方式。可选值:

    • 字符串替换:将敏感内容替换为字符串。您可以通过替换字符串参数指定目标字符串。

    • md5:将敏感内容替换为对应的MD5值。

    敏感数据内容

    指定提取敏感内容的方式。可选值:

    • 字段全文:全部提取,即替换目标字段值中的所有内容。

    • 正则指定:使用正则表达式提取敏感内容。

    替换字符串

    用于替换敏感内容的字符串。

    设置脱敏方式字符串替换时,必填。

    敏感内容前缀正则

    匹配敏感内容前缀的正则表达式。

    设置敏感数据内容正则指定时,必填。

    敏感内容正则

    匹配敏感内容的正则表达式。

    设置敏感数据内容正则指定时,必填。

  • 配置示例

    将目标字段值中的所有内容替换为字符串。

    • 原始日志

      "password" : "123abcdefg"
    • Logtail插件处理配置image

    • 处理结果

      "password":"********"

JSON配置方式

配置typeprocessor_desensitizedetail说明如下表所示。

  • 参数说明

    参数

    类型

    是否必选

    说明

    SourceKey

    String

    日志字段名称。

    Method

    String

    脱敏方式。可选值:

    • const:将敏感内容替换为字符串。您可以通过ReplaceString参数指定目标字符串。

    • md5:将敏感内容替换为对应的MD5值。

    Match

    String

    指定提取敏感内容的方式。可选值:

    • full(默认值):全部提取,即替换目标字段值中的所有内容。

    • regex:使用正则表达式提取敏感内容。

    ReplaceString

    String

    用于替换敏感内容的字符串。

    设置Methodconst时,必填。

    RegexBegin

    String

    匹配敏感内容前缀的正则表达式。

    设置Matchregex时,必填。

    RegexContent

    String

    匹配敏感内容的正则表达式。

    设置Matchregex时,必填。

  • 配置示例

    • 示例1

      将目标字段值中的所有内容替换为字符串,即设置MethodconstMatchfull

      • 原始日志

        "password" : "123abcdefg"
      • Logtail插件处理配置

        {
          "type" : "processor_desensitize",
          "detail" : {
            "SourceKey" : "password",
            "Method" : "const",
            "Match" : "full",
            "ReplaceString": "********"
          }
        }
      • 处理结果

        "password":"********"
    • 示例2

      使用正则表达式指定目标字段值中的敏感内容,并替换为对应的MD5值,即设置Methodmd5Matchregex

      • 原始日志

        "content" : "[{'account':'1234567890','password':'abc123'}]"
      • Logtail插件处理配置

        {
           "type" : "processor_desensitize",
           "detail" : {
              "SourceKey" : "content",
              "Method" : "md5",
              "Match" : "regex",
              "RegexBegin": "'password':'",
              "RegexContent": "[^']*"
           }
        }
      • 处理结果

        "content":"[{'account':'1234567890','password':'e99a18c428cb38d5f260853678922e03'}]"