Logtail进阶配置详解

配置概述

Logtail采集配置过程中主要有三个步骤：安装Logtail，配置机器组与采集配置，对于每一步骤，您可以进行更精细化的自定义配置。

管理Logtail

Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC或其他云厂商等服务器上的日志，您首先需要在目标机器中完成Logtail的安装，才能在后续使用Logtail的功能。

• Logtail不同环境下的安装，运行与状态查看，版本升级，卸载等，可以参考安装Logtail。

• 在不同类型的目标机器上，Logtail传输数据时对网络要求不同，相关内容可以参考选择网络。

• Logtail运行时依赖一系列的配置文件并产生部分信息记录文件，相关内容参考Logtail配置文件和记录文件。

• 为防止Logtail消耗过多服务器资源，影响其他服务运行，日志服务对Logtail采集性能做了限制。当您需要提升Logtail采集性能时，可以设置Logtail启动参数。

• 如何开启传输加速服务加速日志服务数据采集，请参考采集加速。

• 如果有重要日志需要实时监控，可以使用日志服务的内置告警监控规则，并可通过钉钉等渠道接收到告警通知，相关内容参考使用内置的Logtail告警监控规则。

• 您在使用Logtail采集日志时，可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等问题。日志服务提供诊断功能，可帮助您快速定位Logtail采集错误信息，相关内容参考Logtail诊断，对于Linux系统的服务器，日志服务还提供了Logtail自动诊断工具。

机器组

机器组是包含多台目标机器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的目标机器，便于批量配置和管理日志采集规则，并动态适配弹性环境。

• 机器组的相关概念有用户标识，用户自定义标识机器组，IP地址机器组，详细了解请参考机器组。

• 如果采集目标机器日志时，您的目标机器与日志服务Project分属于不同的阿里云账号，或者部署在其他云厂商环境，或是自建IDC，则需要配置用户标识来授权日志服务采集日志，详情请参考配置用户标识。

• 日志服务提供了两种类型的机器组，IP地址类型创建相对更简单，而用户自定义标识类型可实现弹性伸缩且不会有地址冲突的风险。对于创建，修改，配置分发与应用，删除机器组的相关操作，请参考管理机器组。

采集配置项

采集配置项是定义如何采集、处理日志数据的核心规则。其目的是通过灵活配置，实现日志的高效采集、结构化解析、过滤加工等效果。

• 在日志服务控制台上创建、查看、修改及删除Logtail采集配置等操作请参考管理Logtail采集配置。

• 在控制台创建Logtail采集配置项时，主要有三部分内容：

  • 全局配置：您可以在全局配置中通过设置不同的日志主题（Topic）对采集到的文本日志进行分类，例如按服务器类型、用户区分。

  • 输入配置：您可以在输入配置中查看日志服务支持采集的数据类型与相应的输入插件介绍。

  • 处理插件：Logtail提供处理插件用于将原始日志进一步解析为结构化数据，您可以根据期望的解析方式选择对应的处理插件，当单一插件不满足情况时日志服务也支持有限制的插件组合使用。

相关文档

日志服务采集配置流程除了控制台操作外，还支持API与SDK的方式。