主机文本日志采集

若您使用阿里云主账号登录，默认拥有所有操作权限，可直接进行相关操作。

若您使用RAM账号登录，请联系主账号使用者通过系统权限策略或自定义权限策略授权：

• 系统权限策略：由日志服务创建并维护的预定义策略，您可以直接使用，但无法修改其内容。

  • AliyunLogFullAccess：管理日志服务的权限。

  • AliyunLogReadOnlyAccess：只读访问日志服务的权限。

• 自定义权限策略：若对数据安全要求较高，您可以通过创建自定义权限策略实现精细化权限管理，如：

  请将Resource中的${regionName}、${uid}、${projectName}、${logstoreName}依次替换为您的地域名称，主账号id，需要访问的Project名称和需要查询的日志库名称。

  • 对主账号已有的Project资源进行日志库管理和采集配置并查看采集日志，主账号需创建并绑定的最小权限的自定义策略如下：

    {
      "Version": "1",
      "Statement": [
        {
        # 只读Project
          "Effect": "Allow",
          "Action": [
            "log:ListProject",
            "log:GetAcceleration",
            "log:ListDomains",
            "log:GetLogging",
            "log:ListTagResources"
          ],
          "Resource": "acs:log:${regionName}:${uid}:project/*"
        },
        {
          "Effect": "Allow",
          "Action": "log:GetProject",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}"
        },
        {
        # 管理Logstore
          "Effect": "Allow",
          "Action": [
            "log:ListLogStores",
            "log:*LogStore",
            "log:*Index",
            "log:ListShards",
            "log:GetCursorOrData",
            "log:GetLogStoreHistogram",
            "log:GetLogStoreContextLogs"
          ],
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/*"
        },
        {
        # 管理LoongCollector（Logtail）数据接入
          "Effect": "Allow",
          "Action": "log:*",
          "Resource": [
            "acs:log:${regionName}:${uid}:project/${projectName}/logtailconfig/*",
            "acs:log:${regionName}:${uid}:project/${projectName}/machinegroup/*"
          ]
        },
        {
        # 查询快速查询
          "Effect": "Allow",
          "Action": "log:ListSavedSearch",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/savedsearch/*"
        },
        {
        # 查询仪表盘
          "Effect": "Allow",
          "Action": "log:ListDashboard",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/dashboard/*"
        }
        # 查询指定日志库日志
        {
          "Effect": "Allow",
          "Action": "log:GetLogStoreLogs",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/logstore/${logstoreName}"
        }
      ]
    }

  • 对主账号已有的日志库资源进行采集配置，主账号需创建并绑定的最小权限的自定义策略如下：

    {
      "Version": "1",
      "Statement": [
        {
        # 只读Project
          "Effect": "Allow",
          "Action": [
            "log:ListProject",
            "log:GetAcceleration",
            "log:ListDomains",
            "log:GetLogging",
            "log:ListTagResources"
          ],
          "Resource": "acs:log:${regionName}:${uid}:project/*"
        },
        {
          "Effect": "Allow",
          "Action": "log:GetProject",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}"
        },
        {
        # 只读Logstore
          "Effect": "Allow",
          "Action": [
            "log:ListLogStores",
            "log:GetLogStore",
            "log:GetLogStoreHistogram",
            "log:GetIndex",
            "log:CreateIndex",
            "log:UpdateIndex",
            "log:ListShards",
            "log:GetCursorOrData",
            "log:GetLogStoreContextLogs"
          ],
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/*"
        },
        {
        # 管理LoongCollector（Logtail）数据接入
          "Effect": "Allow",
          "Action": "log:*",
          "Resource": [
            "acs:log:${regionName}:${uid}:project/${projectName}/logtailconfig/*",
            "acs:log:${regionName}:${uid}:project/${projectName}/machinegroup/*"
          ]
        },
        {
        # 查询快速查询
          "Effect": "Allow",
          "Action": "log:ListSavedSearch",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/savedsearch/*"
        },
        {
        # 查询仪表盘
          "Effect": "Allow",
          "Action": "log:ListDashboard",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/dashboard/*"
        }
         # 查询指定日志库日志
        {
          "Effect": "Allow",
          "Action": "log:GetLogStoreLogs",
          "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/logstore/${logstoreName}"
        }
      ]
    }

若您无可用Project，请参考此处步骤创建一个基础Project，如需详细了解创建配置请参见管理Project。

登录日志服务控制台，单击创建Project，完成下述基础配置，其他配置保持默认即可：

• 所属地域：请根据日志来源等信息选择合适的阿里云地域，创建后不可修改。

• Project名称：设置名称，名称在阿里云地域内全局唯一，创建后不可修改。

若您无可用Logstore，请参考此处步骤创建一个基础Logstore，如需详细了解创建配置请参见管理Logstore。

1. 登录日志服务控制台，在Project列表中单击管理日志资源的Project。

2. 在日志存储 > 日志库页签中，单击+图标。

   

3. 填写Logstore名称，其余配置保持默认无需修改。

LoongCollector 是阿里云日志服务（SLS）推出的新一代日志采集 Agent，作为 Logtail 的升级版。

当您的ECS实例与日志服务的Project同账号同地域时，请选择自动安装。

满足以下情况之一时，请选择手动安装：

• ECS实例和日志服务的Project同账号不同地域。

• ECS实例和日志服务的Project属于不同账号。

• 其他云或者自建服务器。

日志服务默认为单行模式，按行进行日志的切分与存储，导致含堆栈信息的多行日志被逐行切分，每一行作为独立日志存储和展示，不利于分析。

针对上述问题，可通过开启多行模式来改变日志服务的切分方式，并通过配置正则表达式匹配日志起始行，从而将原始日志按照起始行规则进行切分和存储。示例如下：

原始日志：

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

单行模式与多行模式对比：

content:[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

在Logtail配置页面进行多行模式配置，配置完成后单击保存即可：

• 处理配置：开启多行模式。

• 类型：选择自定义或多行JSON。

  • 自定义：原始日志的格式不固定，需配置行首正则表达式，来标定每一条日志的起始行。

    • 行首正则表达式：支持自动生成或手动输入，正则表达式需要能够匹配完整的一行数据，如上述示例中匹配的正则表达式为\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*。

      • 单击自动生成正则表达式，然后在日志样例文本框中，划选需提取的日志内容，单击生成正则。

      • 单击手动输入正则表达式，输入正则表达式。配置完成后，单击验证。

  • 多行JSON：当原始日志均为标准JSON格式时选择，LoongCollector（Logtail）会自动处理单条JSON日志内部的换行。

• 切分失败处理方式：

  • 丢弃：直接丢弃这段日志。

  • 保留单行：将每行日志文本单独保留为一条日志。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 全局配置 > 其他全局配置：配置日志主题类型。

  • 日志主题类型：选择日志主题（Topic）的生成方式。

    • 机器组Topic：日志服务支持将一个LoongCollector（Logtail）配置应用到多个机器组。使用机器组Topic可用于区分来自不同机器组的日志。LoongCollector（Logtail）上报数据时，会将服务器所在机器组的机器组Topic作为日志主题上传至Project。用户在查询日志时需要指定日志主题作为查询条件。

    • 文件路径提取：若不同的用户或应用将日志保存在不同的顶级目录中，但下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或应用产生的。此时文件路径提取方式可用于区分不同用户或应用产生的日志数据。通过正则表达式来完整匹配文件路径，并将表达式匹配的结果（用户名或应用名）作为日志主题（Topic）上传至日志服务。

      使用正则从文件路径中提取Topic

      说明

      文件路径的正则表达式中，需要对正斜线（/）进行转义。

      场景1：不同用户将日志记录在不同目录下，但是日志文件名称相同，目录路径如下所示。

      /data/logs
      ├── userA
      │   └── serviceA
      │       └── service.log
      ├── userB
      │   └── serviceA
      │       └── service.log
      └── userC
          └── serviceA
              └── service.log

      如果在Logtail配置中仅配置文件路径为/data/logs且文件名称为service.log，LoongCollector（Logtail）会将三个service.log文件中的内容采集至同一个Logstore中，因此无法区分日志具体由哪个用户产生。您可以使用正则表达式提取文件路径中的值，生成不同的日志主题。

      正则表达式	提取结果
      \/data\/logs\/(.*)\/serviceA\/.*	__topic__: userA __topic__: userB __topic__: userC

      场景2：如果单个日志主题不足以区分日志的来源，您可以在日志文件路径中配置多个正则捕获组来提取关键信息。其中捕获组包括命名捕获组（?P<name>）与非命名捕获组两类。

      • 如果使用命名捕获组，则生成的tag字段为__tag__:{name}；

      • 如果使用非命名捕获组，则生成的tag字段为__tag__:__topic_{i}__，其中{i}为捕获组的序号。

      说明

      当正则表达式中存在多个捕获组时，不会生成__topic__字段。

      例如，文件路径为/data/logs/userA/serviceA/service.log，您可以通过以下方式提取文件路径中的多个值：

      示例	正则表达式	提取结果
      使用非命名捕获组进行正则提取。	\/data\/logs\/(.*?)\/(.*?)\/service.log	__tag__:__topic_1__: userA __tag__:__topic_2__: serviceA
      使用命名捕获组进行正则提取。	\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log	__tag__:user: userA __tag__:service: serviceA

      验证：配置完成后，根据日志主题查询日志：在日志查询分析页面，输入对应生成的日志主题，例如__topic__: userA、__tag__:__topic_1__: userA查询相应主题的日志。更多信息，请参见查询语法与功能。

      

    • 自定义：输入customized:// + 自定义主题名，使用自定义的静态日志主题。

在Logtail配置页面进行如下配置：

• 输入配置：开启允许文件多次采集。默认一个日志文件只能匹配一个LoongCollector（Logtail）配置，开启后，同一个文件支持被多个LoongCollector（Logtail）配置采集。

在Logtail配置页面进行如下配置：

匹配黑名单过程存在计算开销，建议黑名单条目数控制在10条内。

• 输入配置 > 其他输入配置：开启采集黑名单，选择对应的黑名单方式进行配置。

  支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

  • 文件路径黑名单：配置采集时需要忽略的文件路径，相关示例如下：

    • /home/admin/private*.log：在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。

    • /home/admin/private*/*_inner.log：在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。

  • 文件黑名单：配置采集时需要忽略的文件名，示例如下：

    • app_inner.log：在采集时忽略所有名为app_inner.log的文件。

  • 目录黑名单：目录路径不能以正斜线（/）结尾，以下为目录路径示例：

    • /home/admin/dir1/：目录黑名单不会生效。

    • /home/admin/dir*：在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

    • /home/admin/*/dir：在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。

示例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 脱敏处理，进行如下配置：

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 脱敏方式：支持const和md5

  • const：将敏感内容替换成您所修改的字符串。

  • md5：将敏感内容替换为其对应的MD5值。

• 替换字符串：选择脱敏方式为const时，需输入字符串，用于替换敏感内容。

• 被替换内容前的内容表达式：用于查找敏感内容，使用RE2语法配置。

• 被替换的内容表达式：敏感内容的表达式，使用RE2语法配置。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 原生插件：过滤处理，进行白名单配置：配置后只采集符合白名单条件的日志。

• 字段名：需要进行过滤的日志字段。

• 字段值：用于过滤的正则表达式，仅支持全文匹配，不支持关键词部分匹配。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 时间解析，进行如下配置：

时间解析插件通常与其他插件配合使用，将从原始日志中提取的表示时间的字段进行解析，并将解析结果写入 _time_ 字段。

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 时间格式：根据日志中的时间内容设置对应的时间格式。

• 时区：选择日志时间字段所在的时区。如果不选择，则默认使用机器时区，即使用Logtail进程所在环境的时区。

在Logtail配置页面进行如下配置：

• 输出配置：指定传输数据时的压缩方式。

  说明

  通过SDK配置Logtail时，如果未指定该字段，默认压缩方式与Logtail版本有关的：

  • Logtail 1.3.4及之前的版本，默认为lz4。

  • Logtail 1.3.4之后的版本，默认为zstd。

  通过SDK配置LoongCollector时，如果未指定该字段，默认压缩方式为zstd。

  • lz4：压缩速度快，压缩率较低。

  • zstd：压缩率高，速度略低，内存占用高。