Logtail配置

sensitive_keys参数

• 参数说明

  参数名称	数据类型	是否必填	示例值	描述
  key	string	是	content	日志字段名称。
  type	string	是	const	脱敏方式。可选值如下： const：将敏感内容替换成const字段取值内容。 md5：将敏感内容替换为其对应的MD5值。
  regex_begin	string	是	'password':'	敏感内容前缀的正则表达式，用于查找敏感内容。使用RE2语法。更多信息，请参见RE2语法。
  regex_content	string	是	[^']*	敏感内容的正则表达式，使用RE2语法。更多信息，请参见RE2语法。
  all	boolean	是	true	是否替换该字段中所有的敏感内容。可选值如下： true（推荐）：替换。 false：只替换字段中匹配正则表达式的第一部分内容。
  const	string	否	"********"	当type设置为const时，必须配置。

• 配置示例
  例如日志中content字段的值为[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]，现需要将password部分替换为********，则设置sensitive_keys为如下内容。

  sensitive_keys = [{"all": true,
  "const": "********",
  "regex_content": "[^']*",
  "regex_begin": "'password':'",
  "type": "const",
  "key": "content"}]                    

• 日志样例

  [{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

advanced参数

基础参数

完整正则模式和极简模式特有配置

• 参数说明

  参数名称	数据类型	是否必填	示例值	描述
  key	array	是	["content"]	字段列表，用于为原始日志内容配置字段。
  logBeginRegex	string	否	.*	行首正则表达式。
  regex	string	否	(.*)	提取字段的正则表达式。

• 配置示例

  {
      "configName": "logConfigName", 
      "outputType": "LogService", 
      "inputType": "file", 
      "inputDetail": {
          "logPath": "/logPath", 
          "filePattern": "*", 
          "logType": "common_reg_log", 
          "topicFormat": "default", 
          "discardUnmatch": false, 
          "enableRawLog": true, 
          "fileEncoding": "utf8", 
          "maxDepth": 10, 
          "key": [
              "content"
          ], 
          "logBeginRegex": ".*", 
          "regex": "(.*)"
      }, 
      "outputDetail": {
          "projectName": "test-project", 
          "logstoreName": "test-logstore"
      }
  }

JSON模式特有配置

分隔符模式特有配置

• 参数说明

  参数名称	数据类型	是否必填	示例值	描述
  separator	string	否	,	根据您的日志格式选择正确的分隔符。更多信息，请参见附录：分隔符简介及日志样例。
  quote	string	是	\	当日志字段内容中包含分隔符时，需要指定引用符进行包裹，被引用符包裹的内容会被日志服务解析为一个完整字段。请根据您的日志格式选择正确的引用符。更多信息，请参见附录：分隔符简介及日志样例。
  key	array	是	[ "ip", "time"]	字段列表，用于为原始日志内容配置字段。
  timeKey	string	是	time	指定key列表中的某个字段为时间字段。
  autoExtend	boolean	否	true	如果日志中分割出的字段数少于配置的Key数量，是否上传已解析的字段。 例如日志为11|22|33|44|55，分隔符为竖线（|），日志内容将被解析为11、22、33、44和55，为其分别设置Key为A、B、C、D和E。 true：采集日志11|22|33|55时，55会作为Key D的Value被上传到日志服务。 false：采集日志11|22|33|55时，该条日志会因字段与Key不匹配而被丢弃。

• 配置示例

  {
      "configName": "logConfigName", 
      "logSample": "testlog", 
      "inputType": "file", 
      "outputType": "LogService", 
      "inputDetail": {
          "logPath": "/logPath", 
          "filePattern": "*", 
          "logType": "delimiter_log", 
          "topicFormat": "default", 
          "discardUnmatch": true, 
          "enableRawLog": true, 
          "fileEncoding": "utf8", 
          "maxDepth": 999, 
          "separator": ",", 
          "quote": "\"", 
          "key": [
              "ip", 
              "time"
          ], 
          "autoExtend": true
      }, 
      "outputDetail": {
          "projectName": "test-project", 
          "logstoreName": "test-logstore"
      }
  }

飞天模式特有配置