本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。

前提条件

原理

Logtail根据Logtail采集配置定期执行指定的SELECT语句,将查询结果作为数据上传到日志服务。

Logtail获取到查询结果时,会将结果中的CheckPoint字段保存到本地。当下次执行SELECT语句时,会将上一次保存的CheckPoint带入到SELECT语句中,以此实现增量数据采集。

重要 开启CheckPoint时,需要在SELECT语句中对CheckPoint字段进行排序,否则会造成数据重复或其他问题。
实现原理

功能

  • 支持MySQL数据库的查询结果。
  • 支持分页设置。
  • 支持时区设置。
  • 支持超时设置。
  • 支持保存CheckPoint状态。
  • 支持SSL。
  • 支持限制每次最大采集数量。

应用场景

  • 根据数据中的自增ID或时间等标志采集增量数据。
  • 根据筛选条件自定义同步。

操作步骤

  1. 登录日志服务控制台
  2. 接入数据区域,选择MySQL查询结果-插件
  3. 选择目标Project和Logstore,单击下一步
  4. 创建机器组。
    • 如果您已有可用的机器组,请单击使用现有机器组
    • 如果您还没有可用的机器组,请执行以下操作(以ECS为例)。
      1. ECS机器页签中,通过手动选择实例方式选择目标ECS实例,单击立即执行

        更多信息,请参见安装Logtail(ECS实例)

        说明 如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时,您需要手动安装Logtail。更多信息,请参见安装Logtail(Linux系统)安装Logtail(Windows系统)。手动安装Logtail后,您还需要在该服务器上手动配置用户标识。具体操作,请参见配置用户标识
      2. 安装完成后,单击确认安装完毕
      3. 创建机器组页面,输入名称,单击下一步

        日志服务支持创建IP地址机器组和用户自定义标识机器组,详细参数说明请参见创建IP地址机器组创建用户自定义标识机器组

  5. 选中目标机器组,将该机器组从源机器组移动到应用机器组,单击下一步
    重要 如果创建机器组后立刻应用,可能因为连接未生效,导致心跳为FAIL,您可单击自动重试。如果还未解决,请参见Logtail机器组无心跳进行排查。
  6. 数据源设置页签中,设置配置名称插件配置,然后单击下一步
    • inputs为数据源配置,必选项。
      说明 一个inputs中只允许配置一个类型的数据源。
    • processors为处理配置,可选项。您可以配置一种或多种处理方式。更多信息,请参见概述
    {
      "inputs": [
        {
          "type": "service_mysql",
          "detail": {
            "Address": "************.mysql.rds.aliyuncs.com",
            "User": "****",
            "Password": "*******",
            "DataBase": "****",
            "Limit": true,
            "PageSize": 100,
            "StateMent": "select * from db.VersionOs where time > ?",
            "CheckPoint": true,
            "CheckPointColumn": "time",
            "CheckPointStart": "2018-01-01 00:00:00",
            "CheckPointSavePerPage": true,
            "CheckPointColumnType": "time",
            "IntervalMs": 60000
          }
        }
      ]
    }
    参数 类型 是否必选 说明
    type string 数据源类型,固定为service_mysql
    Address string MySQL地址。例如rm-****.mysql.rds.aliyuncs.com

    不配置时,默认使用127.0.0.1:3306

    User string 用于登录MySQL数据库的账号名称。

    不配置时,默认使用root

    Password string 用于登录MySQL数据库的账号密码。不配置时,默认为空。
    如果安全需求较高,建议将账号名称和密码配置为xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json找到对应配置进行修改。更多信息,请参见修改本地配置
    说明 如果您在控制台上修改了此参数,同步至本地后会覆盖当前本地的配置。
    DataBase string MySQL数据库名称。
    DialTimeOutMs int 连接MySQL数据库超时时间,单位:ms。

    不配置时,默认使用5000 ms。

    ReadTimeOutMs int 读取MySQL查询结果的超时时间,单位:ms。

    不配置时,默认使用5000 ms。

    StateMent string SELECT语句。

    设置CheckPointtrue时,StateMent中SELECT语句的where条件中必须包含CheckPoint列(CheckPointColumn),并将该列的值设置为?。例如:设置CheckPointColumnid,设置StateMentSELECT * from ... where id > ?

    Limit boolean 是否使用Limit分页。

    不配置时,默认使用false,表示不使用Limit分页。

    建议使用Limit进行分页。设置Limittrue后,进行SQL查询时,会自动在StateMent中追加LIMIT语句。

    PageSize int 分页大小,Limittrue时必须配置。
    MaxSyncSize int 每次同步最大记录数。

    不配置时,默认使用0,表示无限制。

    CheckPoint boolean 是否使用CheckPoint。

    不配置时,默认使用false,表示不使用CheckPoint。

    CheckPointColumn string CheckPoint列名称。
    CheckPointtrue时必须配置。
    警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。
    CheckPointColumnType string CheckPoint列的数据类型,支持int和time。int类型的内部存储为int64,time类型支持MySQL的date、datetime、time类型。

    CheckPointtrue时必须配置。

    CheckPointStart string CheckPoint列的初始值。

    CheckPointtrue时必须配置。

    CheckPointSavePerPage boolean 是否每次分页时保存一次CheckPoint。
    • true:每次分页时保存一次CheckPoint。
    • false:每次同步完成后保存一次CheckPoint。
    IntervalMs int 同步间隔,单位:ms。
  7. 预览数据及设置索引,单击下一步
    日志服务默认开启全文索引。您也可以根据采集到的日志,手动或者自动设置字段索引。更多信息,请参见配置索引
    说明 如果您要查询和分析日志,那么全文索引和字段索引属性必须至少启用一种。同时启用时,以字段索引为准。

修改本地配置

如果您没有在插件配置中输入真实的Address、User、Password等信息,可以在采集配置下发到本地后进行手动修改。

  1. 登录Logtail所在服务器。
  2. 打开/usr/local/ilogtail/user_log_config.json文件,找到service_mysql关键字,修改AddressUserPassword等字段。
  3. 执行以下命令重启Logtail。
    sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

后续步骤

Logtail采集MySQL查询结果到日志服务后,您可以在日志服务控制台上进行查看。数据库表结构和Logtail采集到的日志样例如下所示。
  • 表结构
    CREATE TABLE `VersionOs` (
      `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',
      `time` datetime NOT NULL,
      `version` varchar(10) NOT NULL DEFAULT '',
      `os` varchar(10) NOT NULL,
      `count` int(11) unsigned NOT NULL,
      PRIMARY KEY (`id`),
      KEY `timeindex` (`time`)
    )
  • 日志样例
    "count":  "4"  
    "id:  "721097"  
    "os:  "Windows"  
    "time:  "2022-08-25 13:00:00"  
    "version":  "1.3.0"