采集MySQL Binlog（计划弃用）

原理

功能特点

• 通过Binlog增量采集数据库的更新操作数据，性能优越。支持RDS等MySQL协议的数据库。

• 支持多种数据库过滤方式。

• 支持设置Binlog位点。

• 支持通过Checkpoint机制同步保存状态。

使用限制

• Logtail 1.0.31及以上版本支持采集MySQL 8.0的Binlog。

• MySQL必须开启Binlog，且Binlog必须为row模式（RDS默认已开启Binlog）。

  # 查看是否开启Binlog
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # 查看Binlog类型
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• ServerID唯一，即需要同步的MySQL的Slave ID唯一。

• RDS限制

  • 无法直接在RDS服务器上安装Logtail，您需要将Logtail安装在能连通RDS实例的服务器上。

  • RDS备库不支持Binlog采集，您需要配置RDS主库进行采集。

• 包括数据库版本升级、表结构变更、磁盘变更等操作，可能造成数据同步中断。如遇此场景，可尝试删除logtail的checkpoint目录后，重启logtail。如果问题仍然存在，推荐您使用DataWorks或Flink进行采集。checkpoint目录位置默认为/etc/ilogtail/checkpoint。

应用场景

注意事项

建议您适当放开对Logtail的资源限制以应对流量突增等情况，避免Logtail因为资源超限被强制重启，对您的数据造成不必要的风险。

您可以通过/usr/local/ilogtail/ilogtail_config.json文件修改相关参数。更多信息，请参见设置Logtail启动参数。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}

数据可靠性

创建Logtail配置

1. 登录日志服务控制台。

2. 在接入数据区域，选择MySQL BinLog-插件。

3. 选择目标Project和Logstore，单击下一步。
4. 创建机器组。
   • 如果您已有可用的机器组，请单击使用现有机器组。
   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。
     1. 在ECS机器页签中，通过手动选择实例方式选择目标ECS实例，单击创建。

        具体操作，请参见安装Logtail（ECS实例）。

        重要 如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时，您需要手动安装Logtail。更多信息，请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。

        手动安装Logtail后，您必须在该服务器上手动配置用户标识。具体操作，请参见配置用户标识。

     2. 安装完成后，单击确认安装完毕。
     3. 在创建机器组页面，输入名称，单击下一步。

        日志服务支持创建IP地址机器组和用户自定义标识机器组，详细参数说明请参见创建IP地址机器组和创建用户自定义标识机器组。

5. 确认目标机器组已在应用机器组区域，单击下一步。

   重要

   创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

6. 设置数据源，然后单击下一步。

   您可以通过表单配置方式或JSON配置方式完成数据源设置。更多信息，请参见Logtail配置详情。

7. 预览数据及创建索引，然后单击下一步。
   日志服务默认开启全文索引。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将自动生成字段索引。更多信息，请参见创建索引。

   重要 如果您要查询和分析日志，那么全文索引和字段索引必须至少启用一种。同时启用时，以字段索引为准。
8. 单击查询日志，系统将跳转至Logstore查询分析页面。
   您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。更多信息，请参见查询和分析日志。

Logtail配置详情

您可以通过表单配置方式或JSON配置方式完成数据源设置。

修改本地配置

如果您没有在插件配置中输入真实的Host、User、Password等信息，可以在插件配置下发到本地后进行手动修改。

1. 登录Logtail所在服务器。

2. 打开/usr/local/ilogtail/user_log_config.json文件，找到service_canal关键字，修改Host、User、Password等字段。

3. 执行以下命令重启Logtail。

   sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

问题排查

使用Logtail采集日志后，如果预览页面或查询页面无数据，您可以参见Logtail采集日志失败的排查思路进行排查。

数据库表和日志样例

例如对user_info数据库下的specialalarm表分别执行INSERT、UPDATE、DELETE操作，对应的数据库表结构、数据库操作及日志样例如下所示。

• 表结构样例

  CREATE TABLE `specialalarm` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `time` datetime NOT NULL,
  `alarmtype` varchar(64) NOT NULL,
  `ip` varchar(16) NOT NULL,
  `count` int(11) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `time` (`time`) USING BTREE,
  KEY `alarmtype` (`alarmtype`) USING BTREE
  ) ENGINE=MyISAM AUTO_INCREMENT=1;

• 数据库操作

  执行INSERT、DELETE和UPDATE三种操作。

  insert into specialalarm (`time`, `alarmType`, `ip`, `count`) values(now(), "NO_ALARM", "10.10.**.***", 55);
  delete from specialalarm where id = 4829235  ;
  update specialalarm set ip = "10.11.***.**" where id = "4829234";

  为zc.specialalarm创建一个索引。

  ALTER TABLE `zc`.`specialalarm` 
  ADD INDEX `time_index` (`time` ASC);

• 日志样例

  在查询分析页面，查看每种操作对应的日志，日志样例如下所示。

  • INSERT语句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu*****  
    __topic__:    
    _db_:  zc  
    _event_:  row_insert  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:536  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  113  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.***.***  
    time:  2017-11-01 12:31:41

  • DELETE语句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****
    __topic__:    
    _db_:  zc  
    _event_:  row_delete  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:537  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  114  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.**.***
    time:  2017-11-01 12:31:41

  • UPDATE语句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:538  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  115  
    _old_alarmtype:  NO_ALARM  
    _old_count:  55  
    _old_id:  4829234  
    _old_ip:  10.10.22.133  
    _old_time:  2017-10-31 12:04:54  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829234  
    ip:  10.11.***.***
    time:  2017-10-31 12:04:54

  • DDL（data definition language）语句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:539  
    _host_:  *********.mysql.rds.aliyuncs.com  
    ErrorCode:  0
    ExecutionTime:  0
    Query:  ALTER TABLE `zc`.`specialalarm` 
    ADD INDEX `time_index` (`time` ASC)
    StatusVars:

  字段	说明
  _host_	数据库host名称。
  _db_	数据库名称。
  _table_	表的名称。
  _event_	事件类型。
  _id_	本次采集的自增ID，从0开始，每次采集一个binlog事件后加1。
  _gtid_	全局事务ID。
  _filename_	Binlog文件名。
  _offset_	Binlog文件大小偏移量，该值只会在每次commit后更新。