使用正则模式采集文本日志

配置项

说明

配置名称

Logtail配置名称，在其所属Project内必须唯一。创建Logtail配置成功后，无法修改其名称。

日志主题类型

选择日志主题（Topic）的生成方式。更多信息，请参见日志主题。

• 机器组Topic：设置为机器组的Topic属性，用于明确区分不同机器组产生的日志。

• 文件路径提取：设置为文件路径正则，则需要设置自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同源产生的日志。

• 自定义：自定义日志主题。

高级参数

其它可选的与配置全局相关的高级功能参数，请参见创建Logtail流水线配置。

配置项

说明

文件路径

根据日志在主机（例如ECS）上的位置，设置日志目录和文件名称。

• 如果目标主机是Linux系统，则日志路径必须以正斜线（/）开头，例如/apsara/nuwa/**/app.Log。

• 如果目标主机是Windows系统，则日志路径必须以盘符开头，例如C:\Program Files\Intel\**\*.Log。

目录名和文件名均支持完整模式和通配符模式，文件名规则请参见Wildcard matching。其中，日志路径通配符只支持星号（*）和半角问号（?）。

日志文件查找模式为多层目录匹配，即符合条件的指定目录（包含所有层级的目录）下所有符合条件的文件都会被查找到。例如：

• /apsara/nuwa/**/*.log表示/apsara/nuwa目录（包含该目录的递归子目录）中后缀名为.log的文件。

• /var/logs/app_*/**/*.log表示/var/logs目录下所有符合app_*格式的目录（包含该目录的递归子目录）中后缀名为.log的文件。

• /var/log/nginx/**/access*表示/var/log/nginx目录（包含该目录的递归子目录）中以access开头的文件。

最大目录监控深度

设置日志目录被监控的最大深度，即文件路径中通配符**匹配的最大目录深度。0代表只监控本层目录。

文件编码

选择日志文件的编码格式。

首次采集大小

配置首次生效时，匹配文件的起始采集位置距离文件结尾的大小。首次采集大小设定值为1024 KB。

• 首次采集时，如果文件小于1024 KB，则从文件内容起始位置开始采集。

• 首次采集时，如果文件大于1024 KB，则从距离文件末尾1024 KB的位置开始采集。

您可以通过此处修改首次采集大小，取值范围为0~10485760，单位为KB。

采集黑名单

打开采集黑名单开关后，可进行黑名单配置，即可在采集时忽略指定的目录或文件。支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

支持按照文件路径黑名单、文件黑名单、目录黑名单设置，详细说明如下：

允许文件多次采集

默认情况下，一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份，需要打开允许文件多次采集开关。

高级参数

其它可选的与文件输入插件相关的高级功能参数，请参见创建Logtail流水线配置。

配置项

说明

日志样例

待采集日志的样例，请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

多行模式

• 多行日志的类型：多行日志是指每条日志分布在连续的多行中，需要从日志内容中区分出每一条日志。

  • 自定义：通过行首正则表达式区分每一条日志。

  • 多行JSON：每个JSON对象被展开为多行，例如：

    {
      "name": "John Doe",
      "age": 30,
      "address": {
        "city": "New York",
        "country": "USA"
      }
    }

• 切分失败处理方式：

  Exception in thread "main" java.lang.NullPointerException
      at com.example.MyClass.methodA(MyClass.java:12)
      at com.example.MyClass.methodB(MyClass.java:34)
      at com.example.MyClass.main(MyClass.java:½0)

  对于以上日志内容，如果日志服务切分失败：

  • 丢弃：直接丢弃这段日志。

  • 保留单行：将每行日志文本单独保留为一条日志，保留为一共四条日志。

处理模式

处理插件组合，包括原生插件和拓展插件。有关处理插件的更多信息，请参见处理插件概述。

• 2.0版本的Logtail：

  • 原生处理插件可任意组合。

  • 原生处理插件和扩展处理插件可同时使用，但扩展处理插件只能出现在所有的原生处理插件之后。

• 低于2.0版本的Logtail：

  • 不支持同时添加原生插件和扩展插件。

  • 原生插件仅可用于采集文本日志。使用原生插件时，须符合如下要求：

    • 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、Nginx模式解析插件、Apache模式解析插件或IIS模式解析插件。

    • 从第二个处理插件到最后一个处理插件，最多包括1个时间解析处理插件，1个过滤处理插件和多个脱敏处理插件。

  • 对于解析失败时保留原始字段和解析成功时保留原始字段参数，只有以下组合有效，其余组合无效。

    • 只上传解析成功的日志：

      

    • 解析成功时上传解析后的日志，解析失败时上传原始日志：

      

    • 解析成功时不仅上传解析后的日志，并且追加原始日志字段，解析失败时上传原始日志。

      例如，原始日志"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始字段是在解析后日志的基础上再增加一个字段，字段名为重命名的原始字段（如果不填则默认为原始字段名），字段值为原始日志{"request_method":"GET", "request_time":"200"}。