主机文本日志采集

Project是阿里云日志服务中的资源管理单元，用于隔离和控制不同项目或应用的日志数据。一个Project可以包含多个Logstore。

Logstore是日志数据的存储单元，用于存储日志。在Project内，您可以根据业务需求创建多个Logstore存储不同类型的日志，如使用两个Logstore分别存储Nginx访问日志和应用错误日志。

若您使用阿里云主账号登录，默认拥有所有操作权限，可直接进行相关操作。

若您使用RAM账号登录，请联系主账号使用者通过系统权限策略或自定义权限策略授权：

• 系统权限策略：由阿里云创建并维护的预定义策略，您可以直接使用，但无法修改其内容。

  • AliyunLogFullAccess：管理日志服务的权限。

  • AliyunECSFullAccess：管理ECS的权限。

  如果日志服务Project与ECS实例同账号同地域，可以通过阿里云运维编排服务（OOS）在ECS实例中自动安装LoongCollector（Logtail），此时除了管理日志服务与ECS的权限外，还需要OOS的操作权限：

  • AliyunOOSFullAccess：管理OOS的权限。

• 自定义权限策略：当系统策略无法满足需求，可通过创建自定义权限策略实现精细化权限管理。示例主要包含权限为：

  • 查看Project：查看Project列表，查看指定Project详情。

  • 管理日志库 (Logstore)： 在Project下创建新的日志库，或修改、删除已有的日志库。

  • 管理采集配置： 创建、删除和修改采集配置。

  • 查看日志： 查询和分析指定Project下指定日志库中的数据。

  请将Resource中的${regionName}、${uid}、${projectName}、${logstoreName}依次替换为您的地域名称，主账号id，需要访问的Project名称和需要查询的日志库名称。

  {
    "Version": "1",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": [
          "log:ListProject",
          "log:GetAcceleration",
          "log:ListDomains",
          "log:GetLogging",
          "log:ListTagResources"
        ],
        "Resource": "acs:log:${regionName}:${uid}:project/*"
      },
      {
        "Effect": "Allow",
        "Action": "log:GetProject",
        "Resource": "acs:log:${regionName}:${uid}:project/${projectName}"
      },
      {
        "Effect": "Allow",
        "Action": [
          "log:ListLogStores",
          "log:*LogStore",
          "log:*Index",
          "log:ListShards",
          "log:GetCursorOrData",
          "log:GetLogStoreHistogram",
          "log:GetLogStoreContextLogs"
        ],
        "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/*"
      },
      {
        "Effect": "Allow",
        "Action": "log:*",
        "Resource": [
          "acs:log:${regionName}:${uid}:project/${projectName}/logtailconfig/*",
          "acs:log:${regionName}:${uid}:project/${projectName}/machinegroup/*"
        ]
      },
      {
        "Effect": "Allow",
        "Action": "log:ListSavedSearch",
        "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/savedsearch/*"
      },
      {
        "Effect": "Allow",
        "Action": "log:ListDashboard",
        "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/dashboard/*"
      },
      {
        "Effect": "Allow",
        "Action": "log:GetLogStoreLogs",
        "Resource": "acs:log:${regionName}:${uid}:project/${projectName}/logstore/${logstoreName}"
      },
      {
        "Effect": "Allow",
        "Action": [
          "ecs:DescribeTagKeys",
          "ecs:DescribeTags",
          "ecs:DescribeInstances",
          "ecs:DescribeInvocationResults",
          "ecs:RunCommand",
          "ecs:DescribeInvocations",
          "ecs:InvokeCommand"
        ],
        "Resource": "*"
      },
      {
        "Effect": "Allow",
        "Action": [
          "oos:ListTemplates",
          "oos:StartExecution",
          "oos:ListExecutions",
          "oos:GetExecutionTemplate",
          "oos:ListExecutionLogs",
          "oos:ListTaskExecutions"
        ],
        "Resource": "*"
      }
    ]
  }
  
  

  权限	对应操作	资源
  只读Project	GetAcceleration GetLogging ListProject ListDomains ListTagResources	acs:log:${regionName}:${uid}:project/*
  获取指定Project	GetProject	acs:log:${regionName}:${uid}:project/${projectName}
  管理Logstore	ListLogStores *LogStore *Index ListShards GetCursorOrData GetLogStoreHistogram GetLogStoreContextLogs	acs:log:${regionName}:${uid}:project/${projectName}/*
  管理LoongCollector（Logtail）数据接入	*	acs:log:${regionName}:${uid}:project/${projectName}/logtailconfig/* acs:log:${regionName}:${uid}:project/${projectName}/machinegroup/*
  查询快速查询	ListSavedSearch	acs:log:${regionName}:${uid}:project/${projectName}/savedsearch/*
  查询仪表盘	ListDashboard	acs:log:${regionName}:${uid}:project/${projectName}/dashboard/*
  查询指定日志库日志	GetLogStoreLogs	acs:log:${regionName}:${uid}:project/${projectName}/logstore/${logstoreName}
  操作ECS的权限	DescribeTagKeys DescribeTags DescribeInstances DescribeInvocationResults RunCommand DescribeInvocations InvokeCommand	*
  操作OOS的权限（可选） 仅在日志服务与ECS实例同账号同地域通过OOS自动化安装LoongCollector(Logtail)时需要。	ListTemplates StartExecution ListExecutions GetExecutionTemplate ListExecutionLogs ListTaskExecutions	*

若您无可用Project，请参考此处步骤创建一个基础Project，如需详细了解创建配置请参见管理Project。

登录日志服务控制台，单击创建Project，完成下述基础配置，其他配置保持默认即可：

• 所属地域：请根据日志来源等信息选择合适的阿里云地域，创建后不可修改。

• Project名称：设置名称，名称在阿里云地域内全局唯一，创建后不可修改。

若您无可用Logstore，请参考此处步骤创建一个基础Logstore，如需详细了解创建配置请参见管理Logstore。

LoongCollector 是阿里云日志服务（SLS）推出的新一代日志采集 Agent，是 Logtail 的升级版。

请根据主机与日志服务Project的关系，选择对应的安装步骤：

• ECS与Project同账号同地域：自动安装。

• ECS与Project同账号不同地域：手动安装。

其他场景如不同账号同地域、不同账号不同地域、其他云服务器或自建IDC，请参考LoongCollector安装（Linux）。LoongCollector不支持Windows，若需要在Windows系统中请参考机器组中Windows相关内容。

日志服务默认为单行模式，按行进行日志的切分与存储，导致含堆栈信息的多行日志被逐行切分，每一行作为独立日志存储和展示，不利于分析。

针对上述问题，可通过开启多行模式来改变日志服务的切分方式，并通过配置正则表达式匹配日志起始行，从而将原始日志按照起始行规则进行切分和存储。示例如下：

原始日志：

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

单行模式与多行模式对比：

content:[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

在Logtail配置页面进行多行模式配置，配置完成后单击保存即可：

• 处理配置：开启多行模式。

• 类型：选择自定义或多行JSON。

  • 自定义：原始日志的格式不固定，需配置行首正则表达式，来标定每一条日志的起始行。

    • 行首正则表达式：支持自动生成或手动输入，正则表达式需要能够匹配完整的一行数据，如上述示例中匹配的正则表达式为\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*。

      • 单击自动生成正则表达式，然后在日志样例文本框中，划选需提取的日志内容，单击生成正则。

      • 单击手动输入正则表达式，输入正则表达式。配置完成后，单击验证。

  • 多行JSON：当原始日志均为标准JSON格式时选择，LoongCollector（Logtail）会自动处理单条JSON日志内部的换行。

• 切分失败处理方式：

  • 丢弃：直接丢弃这段日志。

  • 保留单行：将每行日志文本单独保留为一条日志。

在Logtail配置页面进行如下配置，配置完成后单击保存即可：

• 全局配置 > 其他全局配置：配置日志主题类型。

  • 日志主题类型：选择日志主题（Topic）的生成方式。

    • 机器组Topic：日志服务支持将一个LoongCollector（Logtail）配置应用到多个机器组。使用机器组Topic可用于区分来自不同机器组的日志。LoongCollector（Logtail）上报数据时，会将服务器所在机器组的机器组Topic作为日志主题上传至Project。用户在查询日志时需要指定日志主题作为查询条件。

    • 文件路径提取：若不同的用户或应用将日志保存在不同的顶级目录中，但下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或应用产生的。此时文件路径提取方式可用于区分不同用户或应用产生的日志数据。通过正则表达式来完整匹配文件路径，并将表达式匹配的结果（用户名或应用名）作为日志主题（Topic）上传至日志服务。

      使用正则从文件路径中提取Topic

      说明

      文件路径的正则表达式中，需要对正斜线（/）进行转义。

      场景1：不同用户将日志记录在不同目录下，但是日志文件名称相同，目录路径如下所示。

      /data/logs
      ├── userA
      │   └── serviceA
      │       └── service.log
      ├── userB
      │   └── serviceA
      │       └── service.log
      └── userC
          └── serviceA
              └── service.log

      如果在Logtail配置中仅配置文件路径为/data/logs且文件名称为service.log，LoongCollector（Logtail）会将三个service.log文件中的内容采集至同一个Logstore中，因此无法区分日志具体由哪个用户产生。您可以使用正则表达式提取文件路径中的值，生成不同的日志主题。

      正则表达式	提取结果
      \/data\/logs\/(.*)\/serviceA\/.*	__topic__: userA __topic__: userB __topic__: userC

      场景2：如果单个日志主题不足以区分日志的来源，您可以在日志文件路径中配置多个正则捕获组来提取关键信息。其中捕获组包括命名捕获组（?P<name>）与非命名捕获组两类。

      • 如果使用命名捕获组，则生成的tag字段为__tag__:{name}；

      • 如果使用非命名捕获组，则生成的tag字段为__tag__:__topic_{i}__，其中{i}为捕获组的序号。

      说明

      当正则表达式中存在多个捕获组时，不会生成__topic__字段。

      例如，文件路径为/data/logs/userA/serviceA/service.log，您可以通过以下方式提取文件路径中的多个值：

      示例	正则表达式	提取结果
      使用非命名捕获组进行正则提取。	\/data\/logs\/(.*?)\/(.*?)\/service.log	__tag__:__topic_1__: userA __tag__:__topic_2__: serviceA
      使用命名捕获组进行正则提取。	\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log	__tag__:user: userA __tag__:service: serviceA

      验证：配置完成后，根据日志主题查询日志：在日志查询分析页面，输入对应生成的日志主题，例如__topic__: userA、__tag__:__topic_1__: userA查询相应主题的日志。更多信息，请参见查询语法与功能。

      

    • 自定义：输入customized:// + 自定义主题名，使用自定义的静态日志主题。

在Logtail配置页面进行如下配置：

• 输入配置：开启允许文件多次采集。默认一个日志文件只能匹配一个LoongCollector（Logtail）配置，开启后，同一个文件支持被多个LoongCollector（Logtail）配置采集。

在Logtail配置页面进行如下配置：

匹配黑名单过程存在计算开销，建议黑名单条目数控制在10条内。

• 输入配置 > 其他输入配置：开启采集黑名单，选择对应的黑名单方式进行配置。

  支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。

  • 文件路径黑名单：配置采集时需要忽略的文件路径，相关示例如下：

    • /home/admin/private*.log：在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。

    • /home/admin/private*/*_inner.log：在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。

  • 文件黑名单：配置采集时需要忽略的文件名，示例如下：

    • app_inner.log：在采集时忽略所有名为app_inner.log的文件。

  • 目录黑名单：目录路径不能以正斜线（/）结尾，以下为目录路径示例：

    • /home/admin/dir1/：目录黑名单不会生效。

    • /home/admin/dir*：在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。

    • /home/admin/*/dir：在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。

示例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 脱敏处理，进行如下配置：

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 脱敏方式：支持const和md5

  • const：将敏感内容替换成您所修改的字符串。

  • md5：将敏感内容替换为其对应的MD5值。

• 替换字符串：选择脱敏方式为const时，需输入字符串，用于替换敏感内容。

• 被替换内容前的内容表达式：用于查找敏感内容，使用RE2语法配置。

• 被替换的内容表达式：敏感内容的表达式，使用RE2语法配置。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 原生插件：过滤处理，进行白名单配置：配置后只采集符合白名单条件的日志。

• 字段名：需要进行过滤的日志字段。

• 字段值：用于过滤的正则表达式，仅支持全文匹配，不支持关键词部分匹配。

在Logtail配置页面，单击处理配置页签中的添加处理插件，插件类型选择原生处理插件 > 时间解析，进行如下配置：

时间解析插件通常与其他插件配合使用，将从原始日志中提取的表示时间的字段进行解析，并将解析结果写入 _time_ 字段。

• 原始字段：解析日志前，用于存放日志内容的原始字段。

• 时间格式：根据日志中的时间内容设置对应的时间格式。

• 时区：选择日志时间字段所在的时区。如果不选择，则默认使用机器时区，即使用Logtail进程所在环境的时区。

在Logtail配置页面进行如下配置：

• 输出配置：指定传输数据时的压缩方式。

  说明

  仅Logtail 1.3.4及以上的版本支持zstd压缩。

  • lz4：压缩速度快，压缩率较低。

  • zstd：压缩率高，速度略低，内存占用高。

如果您尚未安装LoongCollector，请参考前提条件选择合适的跨账号场景进行安装；

如果您已安装了LoongCollector，请参考如下步骤配置用户标识，用于标识这台服务器有权限被日志服务Project所属账号访问、采集日志。

只有在采集非本账号ECS、自建IDC、其他云厂商服务器日志时需要配置用户标识。

1. 复制日志服务所属的主账号ID：鼠标悬浮在右上角用户头像上，在弹出的标签页中查看并复制账号ID。

2. 登录需要采集日志的服务器，创建阿里云账号ID文件配置用户标识：

   touch /etc/ilogtail/users/{阿里云账号ID} # 如果/etc/ilogtail/users目录不存在，请手动创建目录。用户标识配置文件只需配置文件名，无需配置文件后缀。

如果您尚未安装LoongCollector，请参考前提条件选择合适的跨地域场景进行安装；

如果已安装LoongCollector，则需要修改LoongCollector配置。

1. 执行sudo /etc/init.d/ilogtaild stop命令，停止LoongCollector。

2. 修改LoongCollector启动配置文件ilogtail_config.json，根据您的网络需求从以下两种方式中选择一种进行修改：

   配置文件路径：/usr/local/ilogtail/ilogtail_config.json

   • 方式一：使用公网传输

     参考RegionID，将配置文件中的地域替换为日志服务所在的地域，需要修改的字段包括：

     • primary_region

     • config_servers 中的地域部分

     • data_servers 中的 region 和 endpoint_list 地域部分

   • 方式二：使用传输加速

     将data_server_list参数中的endpoint一行替换为log-global.aliyuncs.com。文件路径，请参见Logtail网络类型，启动参数与配置文件。

   配置文件示例如下：

   $cat 
   {
       "primary_region" : "cn-shanghai",
       "config_servers" :
       [
           "http://logtail.cn-shanghai.log.aliyuncs.com"
       ],
       "data_servers" :
       [
           {
               "region" : "cn-shanghai",
               "endpoint_list": [
                   "cn-shanghai.log.aliyuncs.com"
               ]
           }
       ],
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384,
       "max_bytes_per_sec" : 20971520,
       "bytes_per_sec" : 1048576,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_map_num" : 5
   }

3. 执行sudo /etc/init.d/ilogtaild start命令，启动LoongCollector。

1. 检查用户标识：如果您的服务器类型不是ECS，或使用的ECS和Project属于不同阿里云账号，请根据如下表格检查指定目录下是否存在正确的用户标识。

   系统	指定目录	解决方法
   Linux	/etc/ilogtail/users/	执行cd /etc/ilogtail/users/ && touch <uid>命令，创建用户标识文件。
   Windows	C:\LogtailData\users\	进入C:\LogtailData\users\目录，创建一个名为<uid>的空文件。

   如果指定路径下存在以当前Project所属的阿里云账号ID命名的文件，则说明用户标识配置正确。

2. 检查机器组标识：如果您使用了用户自定义标识机器组，请检查指定目录下是否存在user_defined_id文件，如果存在请检查该文件中的内容是否与机器组配置的自定义标识一致。

   系统	指定目录	解决方法
   Linux	/etc/ilogtail/user_defined_id	# 配置用户自定义标识,如目录不存在请手动创建 echo "user-defined-1" > /etc/ilogtail/user_defined_id
   Windows	C:\LogtailData\user_defined_id	在C:\LogtailData目录下新建user_defined_id文件，并写入用户自定义标识。（如目录不存在，请手动创建）

3. 如果用户标识和机器组标识均配置无误，请参考LoongCollector（Logtail）机器组问题排查思路进一步排查。

1. 检查是否有增量日志：配置LoongCollector（Logtail）采集后，如果待采集的日志文件没有新增日志，则LoongCollector（Logtail）不会采集该文件。

2. 检查机器组心跳状态：前往资源 > 机器组页面，单击目标机器组名称，在机器组配置 > 机器组状态区域，查看心跳状态。

   • 如果心跳为OK，则表示机器组与日志服务 Project 连接正常。

   • 如果心跳为FAIL：

     • 检查用户标识：如果您的服务器类型不是ECS，或使用的ECS和Project属于不同阿里云账号，请根据如下表格检查指定目录下是否存在正确的用户标识。

       系统	指定目录	解决方法
       Linux	/etc/ilogtail/users/	执行cd /etc/ilogtail/users/ && touch <uid>命令，创建用户标识文件。
       Windows	C:\LogtailData\users\	进入C:\LogtailData\users\目录，创建一个名为<uid>的空文件。

       如果指定路径下存在以当前Project所属的阿里云账号ID命名的文件，则说明用户标识配置正确。

     • 检查机器组标识：如果您使用了用户自定义标识机器组，请检查指定目录下是否存在user_defined_id文件，如果存在请检查该文件中的内容是否与机器组配置的自定义标识一致。

       系统	指定目录	解决方法
       Linux	/etc/ilogtail/user_defined_id	# 配置用户自定义标识,如目录不存在请手动创建 echo "user-defined-1" > /etc/ilogtail/user_defined_id
       Windows	C:\LogtailData\user_defined_id	在C:\LogtailData目录下新建user_defined_id文件，并写入用户自定义标识。（如目录不存在，请手动创建）

     • 如果用户标识和机器组标识均配置无误，请参考Logtail机器组问题排查思路（主机场景）进一步排查。

3. 确认LoongCollector（Logtail）采集配置是否已应用到机器组：即使LoongCollector（Logtail）采集配置已创建，但如果未将其应用到机器组，日志仍无法被采集。

   1. 前往资源 > 机器组页面，单击目标机器组名称，进入机器组配置页面。

   2. 在页面中查看管理配置，左侧展示全部Logtail配置，右侧展示已生效Logtail配置。如果目标LoongCollector（Logtail）采集配置已移动到右侧生效区域，则表示该配置已成功应用到目标机器组。

   3. 如果目标LoongCollector（Logtail）采集配置未移动到右侧生效区域，请单击修改，在左侧全部Logtail配置列表中勾选目标LoongCollector（Logtail）配置名称，单击移动到右侧生效区域，完成后单击保存。

排查思路：这种情况说明网络和基础配置是通的，问题主要出在日志内容与解析规则不匹配。您需要查看具体的错误信息来定位问题：

1. 在Logtail配置页面，单击采集异常的LoongCollector（Logtail）配置名称，在日志采集错误页签下，单击时间选择设置查询时间。

2. 在采集异常监控 > 全量错误信息区域，查看错误日志的告警类型，并根据采集数据常见错误类型查询对应的解决办法。