采集主机文本日志

操作步骤

1. 登录日志服务控制台。

2. 在接入数据区域中，根据需要选择包含文本日志后缀的入口。本文以采集主机中的多行文本日志为例。

   

3. 在选择日志空间页面，按照选择目标Project和Logstore，单击下一步。

   

4. 在机器组配置页面，配置机器组。

   1. 根据实际需求，选择使用场景和安装环境。

      重要

      无论是否已有机器组，都必须根据实际需求正确选择使用场景和安装环境，这将影响后续的页面配置。

   2. 确认目标机器组已在应用机器组区域，单击下一步。

      已有机器组

      从源机器组列表选择目标机器组。

      

      没有可用机器组

      单击创建机器组，在创建机器组面板设置相关参数。机器组标识分为IP地址和用户自定义标识，更多信息请参见创建用户自定义标识机器组（推荐）或创建IP地址机器组。

      重要

      创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

5. 创建Logtail配置，单击下一步，创建Logtail配置。Logtail配置生效时间最长需要3分钟，请耐心等待。

   • 全局配置

     配置项	说明
     配置名称	Logtail配置名称，在其所属Project内必须唯一。创建Logtail配置成功后，无法修改其名称。
     日志主题类型	选择日志主题（Topic）的生成方式。更多信息，请参见日志主题。 机器组Topic：设置为机器组的Topic属性，用于明确区分不同主机产生的日志。 文件路径提取：设置为文件路径正则，则需要设置自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。 自定义：自定义日志主题。
     高级参数	Logtail配置的部分参数需要手动输入，请参见创建Logtail流水线配置。

   • 输入配置

     配置项	说明
     文件路径	根据日志在主机（例如ECS）上的位置，设置日志目录和文件名称。 如果目标主机是Linux系统，则日志路径必须以正斜线（/）开头，例如/apsara/nuwa/**/app.Log。 如果目标主机是Windows系统，则日志路径必须以盘符开头，例如C:\Program Files\Intel\**\*.Log。 目录名和文件名均支持完整模式和通配符模式，文件名规则请参见Wildcard matching。其中，日志路径通配符只支持星号（*）和半角问号（?）。 日志文件查找模式为多层目录匹配，即符合条件的指定目录（包含所有层级的目录）下所有符合条件的文件都会被查找到。例如： /apsara/nuwa/**/*.log表示/apsara/nuwa目录（包含该目录的递归子目录）中后缀名为.log的文件。 /var/logs/app_*/**/*.log表示/var/logs目录下所有符合app_*格式的目录（包含该目录的递归子目录）中后缀名为.log的文件。 /var/log/nginx/**/access*表示/var/log/nginx目录（包含该目录的递归子目录）中以access开头的文件。
     最大目录监控深度	设置日志目录被监控的最大深度，即文件路径中通配符**匹配的最大目录深度。0代表只监控本层目录。
     文件编码	选择日志文件的编码格式。
     首次采集大小	配置首次生效时，匹配文件的起始采集位置距离文件结尾的大小。首次采集大小设定值为1024 KB。 首次采集时，如果文件小于1024 KB，则从文件内容起始位置开始采集。 首次采集时，如果文件大于1024 KB，则从距离文件末尾1024 KB的位置开始采集。 您可以通过此处修改首次采集大小，取值范围为0~10485760，单位为KB。
     采集黑名单	打开采集黑名单开关后，可进行黑名单配置，即可在采集时忽略指定的目录或文件。支持完整匹配和通配符匹配目录和文件名。其中，通配符只支持星号（*）和半角问号（?）。 重要 如果您在配置日志路径时使用了通配符，但又需要过滤掉其中部分路径，则需在采集黑名单中填写对应的完整路径来保证黑名单配置生效。 例如您配置日志路径为/home/admin/app*/log/*.log，但要过滤/home/admin/app1*目录下的所有子目录，则需选择目录黑名单，配置目录为/home/admin/app1*/** 。如果配置为/home/admin/app1*，黑名单不会生效。 匹配黑名单过程存在计算开销，建议黑名单条目数控制在10条内。 目录路径不能以正斜线（/）结尾，例如将设置路径为/home/admin/dir1/，目录黑名单不会生效。 支持按照文件路径黑名单、文件黑名单、目录黑名单设置，详细说明如下： 文件路径黑名单 选择文件路径黑名单，配置路径为/home/admin/private*.log，则表示在采集时忽略/home/admin/目录下所有以private开头，以.log结尾的文件。 选择文件路径黑名单，配置路径为/home/admin/private*/*_inner.log，则表示在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。例如/home/admin/private/app_inner.log文件被忽略，/home/admin/private/app.log文件被采集。 文件黑名单 选择文件黑名单，配置文件名为app_inner.log，则表示采集时忽略所有名为app_inner.log的文件。 目录黑名单 选择目录黑名单，配置目录为/home/admin/dir1，则表示在采集时忽略/home/admin/dir1目录下的所有文件。 选择目录黑名单，配置目录为/home/admin/dir*，则表示在采集时忽略/home/admin/目录下所有以dir开头的子目录下的文件。 选择目录黑名单，配置目录为/home/admin/*/dir，则表示在采集时忽略/home/admin/目录下二级目录名为dir的子目录下的所有文件。例如/home/admin/a/dir目录下的文件被忽略，/home/admin/a/b/dir目录下的文件被采集。
     允许文件多次采集	默认情况下，一个日志文件只能匹配一个Logtail配置。如果文件中的日志需要被采集多份，需要打开允许文件多次采集开关。
     高级参数	Logtail配置的部分参数需要手动输入，请参见创建Logtail流水线配置。

   • 处理配置

     配置项	说明
     日志样例	待采集日志的样例，请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。 [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
     多行模式	多行日志的类型： 自定义：通过行首正则表达式，合并多行日志为一条完整的日志信息。 多行JSON：一个JSON对象跨多行。 切分失败处理方式： 丢弃：丢弃无法切分的日志。 保留单行：保留单行日志。
     处理模式	处理插件组合，包括原生插件和拓展插件。有关处理插件的更多信息，请参见处理插件概述。 重要 处理插件的使用限制，请以控制台页面的提示为准。 低于2.0版本的Logtail： 目前，原生插件仅可用于采集文本日志。 不支持同时添加原生插件和扩展插件。 使用原生插件时，须符合如下要求： 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON解析插件、NGINX模式解析插件、Apache模式解析插件或IIS模式解析插件。 第一个处理插件之后仅允许存在1个时间解析处理插件，1个过滤插件和多个脱敏插件。 2.0版本的Logtail： 原生处理插件可任意组合。 原生处理插件和扩展处理插件可同时使用，但扩展处理插件只能出现在所有的原生处理插件之后。

6. 创建索引和预览数据，然后单击下一步。日志服务默认开启全文索引。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将自动生成字段索引。更多信息，请参见创建索引。

   重要

   如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建字段索引。

7. 单击查询日志，系统将跳转至Logstore查询分析页面。

   您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。查询和分析日志的详细步骤，请参见查询和分析日志。

相关文档

• 使用Logtail采集日志后，如果预览页面为空或查询页面无数据，请按照Logtail采集日志失败的排查思路进行排查。在使用Logtail采集日志时，可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。查看Logtail采集错误的步骤，请参见如何查看Logtail采集错误信息。采集数据常见的错误类型请参见日志服务采集数据常见的错误类型。

• 默认情况下，一个日志文件只能匹配一个Logtail配置。如果同一份日志需要被采集多份，请参见如何实现文件中的日志被采集多份。

• 将企业内网服务器日志采集到日志服务，请参见采集企业内网服务器日志。