主机文本日志采集

阿里云主账号登录：默认拥有全部权限，可直接操作。

RAM账号登录：需要主账号授权相应权限策略。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "log:ListProject",
        "log:GetAcceleration",
        "log:ListDomains",
        "log:GetLogging",
        "log:ListTagResources"
      ],
      "Resource": "acs:log:${regionName}:${uid}:project/*"
    },
    {
      "Effect": "Allow",
      "Action": "log:GetProject",
      "Resource": "acs:log:${regionName}:${uid}:project/${projectName}"
    },
    {
      "Effect": "Allow",
      "Action": [
        "log:ListLogStores",
        "log:*LogStore",
        "log:*Index",
        "log:ListShards",
        "log:GetCursorOrData",
        "log:GetLogStoreHistogram",
        "log:GetLogStoreContextLogs"
      ],
      "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/*"
    },
    {
      "Effect": "Allow",
      "Action": "log:*",
      "Resource": [
        "acs:log:${regionName}:${uid}:project/${projectName}/logtailconfig/*",
        "acs:log:${regionName}:${uid}:project/${projectName}/machinegroup/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": "log:ListSavedSearch",
      "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/savedsearch/*"
    },
    {
      "Effect": "Allow",
      "Action": "log:ListDashboard",
      "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/dashboard/*"
    },
    {
      "Effect": "Allow",
      "Action": "log:GetLogStoreLogs",
      "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/logstore/${logstoreName}"
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecs:DescribeTagKeys",
        "ecs:DescribeTags",
        "ecs:DescribeInstances",
        "ecs:DescribeInvocationResults",
        "ecs:RunCommand",
        "ecs:DescribeInvocations",
        "ecs:InvokeCommand"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "oos:ListTemplates",
        "oos:StartExecution",
        "oos:ListExecutions",
        "oos:GetExecutionTemplate",
        "oos:ListExecutionLogs",
        "oos:ListTaskExecutions"
      ],
      "Resource": "*"
    }
  ]
}

Project是日志服务中的资源管理单元，用于隔离不同业务的日志数据。

1. 登录日志服务控制台。

2. 单击创建Project。

3. 配置：

   • 所属地域：根据日志来源选择，创建后不可修改。

   • Project名称：阿里云内全局唯一，创建后不可修改。

4. 其他配置保持默认，单击创建。

Logstore是日志存储的基本单位。一个 Project 内可创建多个 Logstore。

SLS 支持按写入数据量计费和按使用功能计费两种 计费模式。

日志服务默认为单行模式，按行进行日志的切分与存储，导致含堆栈信息的多行日志被逐行切分，每一行作为独立日志存储和展示，不利于分析。

针对上述问题，可通过开启多行模式来改变日志服务的切分方式，并通过配置正则表达式匹配日志起始行，从而将原始日志按照起始行规则进行切分和存储。示例如下：

原始日志：

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

单行模式与多行模式对比：

content:[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

在Logtail配置页面进行多行模式配置，配置完成后单击保存即可：

• 处理配置：开启多行模式。

• 类型：选择自定义或多行JSON。

  • 自定义：原始日志的格式不固定，需配置行首正则表达式，来标定每一条日志的起始行。

    • 行首正则表达式：支持自动生成或手动输入，正则表达式需要能够匹配完整的一行数据，如上述示例中匹配的正则表达式为\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*。

      • 单击自动生成正则表达式，然后在日志样例文本框中，划选需提取的日志内容，单击生成正则。

      • 单击手动输入正则表达式，输入正则表达式。配置完成后，单击验证。

  • 多行JSON：当原始日志均为标准JSON格式时选择，LoongCollector（Logtail）会自动处理单条JSON日志内部的换行。

• 切分失败处理方式：

  • 丢弃：直接丢弃这段日志。

  • 保留单行：将每行日志文本单独保留为一条日志。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 全局配置 > 其他全局配置：配置日志主题类型。

  • 日志主题类型：选择日志主题（Topic）的生成方式。

    • 机器组Topic：日志服务支持将一个LoongCollector（Logtail）配置应用到多个机器组。使用机器组Topic可用于区分来自不同机器组的日志。LoongCollector（Logtail）上报数据时，会将服务器所在机器组的机器组Topic作为日志主题上传至Project。用户在查询日志时需要指定日志主题作为查询条件。

    • 文件路径提取：若不同的用户或应用将日志保存在不同的顶级目录中，但下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或应用产生的。此时文件路径提取方式可用于区分不同用户或应用产生的日志数据。通过正则表达式来完整匹配文件路径，并将表达式匹配的结果（用户名或应用名）作为日志主题（Topic）上传至日志服务。

      使用正则从文件路径中提取Topic

      说明

      文件路径的正则表达式中，需要对正斜线（/）进行转义。

      场景1：不同用户将日志记录在不同目录下，但是日志文件名称相同，目录路径如下所示。

      /data/logs
      ├── userA
      │   └── serviceA
      │       └── service.log
      ├── userB
      │   └── serviceA
      │       └── service.log
      └── userC
          └── serviceA
              └── service.log

      如果在Logtail配置中仅配置文件路径为/data/logs且文件名称为service.log，LoongCollector（Logtail）会将三个service.log文件中的内容采集至同一个Logstore中，因此无法区分日志具体由哪个用户产生。您可以使用正则表达式提取文件路径中的值，生成不同的日志主题。

      正则表达式	提取结果
      \/data\/logs\/(.*)\/serviceA\/.*	__topic__: userA __topic__: userB __topic__: userC

      场景2：如果单个日志主题不足以区分日志的来源，您可以在日志文件路径中配置多个正则捕获组来提取关键信息。其中捕获组包括命名捕获组（?P<name>）与非命名捕获组两类。

      • 如果使用命名捕获组，则生成的tag字段为__tag__:{name}；

      • 如果使用非命名捕获组，则生成的tag字段为__tag__:__topic_{i}__，其中{i}为捕获组的序号。

      说明

      当正则表达式中存在多个捕获组时，不会生成__topic__字段。

      例如，文件路径为/data/logs/userA/serviceA/service.log，您可以通过以下方式提取文件路径中的多个值：

      示例	正则表达式	提取结果
      使用非命名捕获组进行正则提取。	\/data\/logs\/(.*?)\/(.*?)\/service.log	__tag__:__topic_1__: userA __tag__:__topic_2__: serviceA
      使用命名捕获组进行正则提取。	\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log	__tag__:user: userA __tag__:service: serviceA

      验证：配置完成后，根据日志主题查询日志：在日志查询分析页面，输入对应生成的日志主题，例如__topic__: userA、__tag__:__topic_1__: userA查询相应主题的日志。更多信息，请参见查询语法与功能。

      

    • 自定义：输入customized:// + 自定义主题名，使用自定义的静态日志主题。

在Logtail配置页面进行如下配置：

• 输入配置：开启允许文件多次采集。默认一个日志文件只能匹配一个LoongCollector（Logtail）配置，开启后，同一个文件支持被多个LoongCollector（Logtail）配置采集。

在Logtail配置页面进行如下配置：

匹配黑名单过程存在计算开销，建议黑名单条目数控制在10条内。

• 输入配置 > 其他输入配置：开启采集黑名单，选择对应的黑名单方式进行配置。

  支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

  • 文件路径黑名单：配置采集时需要忽略的文件路径，相关示例如下：

    • /home/admin/private*.log：在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。

    • /home/admin/private*/*_inner.log：在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。

  • 文件黑名单：配置采集时需要忽略的文件名，示例如下：

    • app_inner.log：在采集时忽略所有名为app_inner.log的文件。

  • 目录黑名单：目录路径不能以正斜线（/）结尾，以下为目录路径示例：

    • /home/admin/dir1/：目录黑名单不会生效。

    • /home/admin/dir*：在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

    • /home/admin/*/dir：在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。

示例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 脱敏处理，进行如下配置：

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 脱敏方式：支持const和md5

  • const：将敏感内容替换成您所修改的字符串。

  • md5：将敏感内容替换为其对应的MD5值。

• 替换字符串：选择脱敏方式为const时，需输入字符串，用于替换敏感内容。

• 被替换内容前的内容表达式：用于查找敏感内容，使用RE2语法配置。

• 被替换的内容表达式：敏感内容的表达式，使用RE2语法配置。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 原生插件：过滤处理，进行白名单配置：配置后只采集符合白名单条件的日志。

• 字段名：需要进行过滤的日志字段。

• 字段值：用于过滤的正则表达式，仅支持全文匹配，不支持关键词部分匹配。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 时间解析，进行如下配置：

时间解析插件通常与其他插件配合使用，将从原始日志中提取的表示时间的字段进行解析，并将解析结果写入 _time_ 字段。

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 时间格式：根据日志中的时间内容设置对应的时间格式。

• 时区：选择日志时间字段所在的时区。如果不选择，则默认使用机器时区，即使用Logtail进程所在环境的时区。

在Logtail配置页面进行如下配置：

• 输出配置：指定传输数据时的压缩方式。

  说明

  仅Logtail 1.3.4及以上的版本支持zstd压缩。

  • lz4：压缩速度快，压缩率较低。

  • zstd：压缩率高，速度略低，内存占用高。

如果您尚未安装LoongCollector，请参考前提条件选择合适的跨账号场景进行安装；

如果您已安装了LoongCollector，请参考如下步骤配置用户标识，用于标识这台服务器有权限被日志服务Project所属账号访问、采集日志。

只有在采集非本账号ECS、自建IDC、其他云厂商服务器日志时需要配置用户标识。

1. 复制日志服务所属的主账号ID：鼠标悬浮在右上角用户头像上，在弹出的标签页中查看并复制账号ID。

2. 登录需要采集日志的服务器，创建阿里云账号ID文件配置用户标识：

   touch /etc/ilogtail/users/{阿里云账号ID} # 如果/etc/ilogtail/users目录不存在，请手动创建目录。用户标识配置文件只需配置文件名，无需配置文件后缀。

如果您尚未安装LoongCollector，请参考前提条件选择合适的跨地域场景进行安装；

如果已安装LoongCollector，则需要修改LoongCollector配置。

1. 执行sudo /etc/init.d/ilogtaild stop命令，停止LoongCollector。

2. 修改LoongCollector启动配置文件ilogtail_config.json，根据您的网络需求从以下两种方式中选择一种进行修改：

   配置文件路径：/usr/local/ilogtail/ilogtail_config.json

   • 方式一：使用公网传输

     参考RegionID，将配置文件中的地域替换为日志服务所在的地域，需要修改的字段包括：

     • primary_region

     • config_servers 中的地域部分

     • data_servers 中的 region 和 endpoint_list 地域部分

   • 方式二：使用传输加速

     将data_server_list参数中的endpoint一行替换为log-global.aliyuncs.com。文件路径，请参见Logtail网络类型，启动参数与配置文件。

   配置文件示例如下：

   $cat 
   {
       "primary_region" : "cn-shanghai",
       "config_servers" :
       [
           "http://logtail.cn-shanghai.log.aliyuncs.com"
       ],
       "data_servers" :
       [
           {
               "region" : "cn-shanghai",
               "endpoint_list": [
                   "cn-shanghai.log.aliyuncs.com"
               ]
           }
       ],
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384,
       "max_bytes_per_sec" : 20971520,
       "bytes_per_sec" : 1048576,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_map_num" : 5
   }

3. 执行sudo /etc/init.d/ilogtaild start命令，启动LoongCollector。

1. 检查用户标识：如果您的服务器类型不是ECS，或使用的ECS和Project属于不同阿里云账号，请根据如下表格检查指定目录下是否存在正确的用户标识。

   系统	指定目录	解决方法
   Linux	/etc/ilogtail/users/	执行cd /etc/ilogtail/users/ && touch <uid>命令，创建用户标识文件。
   Windows	C:\LogtailData\users\	进入C:\LogtailData\users\目录，创建一个名为<uid>的空文件。

   如果指定路径下存在以当前Project所属的阿里云账号ID命名的文件，则说明用户标识配置正确。

2. 检查机器组标识：如果您使用了用户自定义标识机器组，请检查指定目录下是否存在user_defined_id文件，如果存在请检查该文件中的内容是否与机器组配置的自定义标识一致。

   系统	指定目录	解决方法
   Linux	/etc/ilogtail/user_defined_id	# 配置用户自定义标识,如目录不存在请手动创建 echo "user-defined-1" > /etc/ilogtail/user_defined_id
   Windows	C:\LogtailData\user_defined_id	在C:\LogtailData目录下新建user_defined_id文件，并写入用户自定义标识。（如目录不存在，请手动创建）

3. 如果用户标识和机器组标识均配置无误，请参考LoongCollector（Logtail）机器组问题排查思路进一步排查。

1. 检查是否有增量日志：配置LoongCollector（Logtail）采集后，如果待采集的日志文件没有新增日志，则LoongCollector（Logtail）不会采集该文件。

2. 检查机器组心跳状态：前往资源 > 机器组页面，单击目标机器组名称，在机器组配置 > 机器组状态区域，查看心跳状态。

   • 如果心跳为OK，则表示机器组与日志服务 Project 连接正常。

   • 如果心跳为FAIL：

     • 检查用户标识：如果您的服务器类型不是ECS，或使用的ECS和Project属于不同阿里云账号，请根据如下表格检查指定目录下是否存在正确的用户标识。

       系统	指定目录	解决方法
       Linux	/etc/ilogtail/users/	执行cd /etc/ilogtail/users/ && touch <uid>命令，创建用户标识文件。
       Windows	C:\LogtailData\users\	进入C:\LogtailData\users\目录，创建一个名为<uid>的空文件。

       如果指定路径下存在以当前Project所属的阿里云账号ID命名的文件，则说明用户标识配置正确。

     • 检查机器组标识：如果您使用了用户自定义标识机器组，请检查指定目录下是否存在user_defined_id文件，如果存在请检查该文件中的内容是否与机器组配置的自定义标识一致。

       系统	指定目录	解决方法
       Linux	/etc/ilogtail/user_defined_id	# 配置用户自定义标识,如目录不存在请手动创建 echo "user-defined-1" > /etc/ilogtail/user_defined_id
       Windows	C:\LogtailData\user_defined_id	在C:\LogtailData目录下新建user_defined_id文件，并写入用户自定义标识。（如目录不存在，请手动创建）

     • 如果用户标识和机器组标识均配置无误，请参考Logtail机器组问题排查思路（主机场景）进一步排查。

3. 确认LoongCollector（Logtail）采集配置是否已应用到机器组：即使LoongCollector（Logtail）采集配置已创建，但如果未将其应用到机器组，日志仍无法被采集。

   1. 前往资源 > 机器组页面，单击目标机器组名称，进入机器组配置页面。

   2. 在页面中查看管理配置，左侧展示全部Logtail配置，右侧展示已生效Logtail配置。如果目标LoongCollector（Logtail）采集配置已移动到右侧生效区域，则表示该配置已成功应用到目标机器组。

   3. 如果目标LoongCollector（Logtail）采集配置未移动到右侧生效区域，请单击修改，在左侧全部Logtail配置列表中勾选目标LoongCollector（Logtail）配置名称，单击移动到右侧生效区域，完成后单击保存。

排查思路：这种情况说明网络和基础配置是通的，问题主要出在日志内容与解析规则不匹配。您需要查看具体的错误信息来定位问题：

1. 在Logtail配置页面，单击采集异常的LoongCollector（Logtail）配置名称，在日志采集错误页签下，单击时间选择设置查询时间。

2. 在采集异常监控 > 全量错误信息区域，查看错误日志的告警类型，并根据采集数据常见错误类型查询对应的解决办法。