日志服务Logtail除了支持采集文本日志及syslog之外,也通过Logtail插件支持配置若干数据源,例如Http、MySQL查询结果和MySQL Binlog。

通过配置采集HTTP数据,并将处理结果上传到日志服务,可以进行实时的服务可用性检测和持续的可用性监控;配置MySQL查询结果为数据源,可以根据自增ID或时间等标志进行增量数据同步;配置SQL数据源以同步MySQL Binlog,可以增量订阅数据库改动,并进行实时查询与分析。

说明
此功能目前仅支持Linux,依赖Logtail 0.16.0及以上版本,版本查看与升级参见Linux

配置流程

图 1. 配置流程


  1. 配置输入源采集方式。

    每种不同的数据源具有不同的采集配置格式,请按照您的数据源类型选择对应的采集配置格式。

  2. 配置处理方式。

    Logtail对于Binlog、MySQL查询结果、Nginx监控和HTTP输入源提供了统一的数据处理配置。用户可对一个输入源配置多个处理方式,各类输入源均支持所有类型的处理方式。Logtail会根据配置顺序逐一执行各个处理方式。

    详细说明请参考通用处理配置

  3. 应用到机器组。

    配置采集方式和处理方式之后,保存并应用到指定机器组,Logtail会自动拉取配置并开始采集。