MySQL Binlog方式

功能特点

• 通过Binlog增量采集数据库更新操作数据，性能优越。支持RDS等MySQL协议的数据库。
• 支持多种数据库过滤方式，如正则表达式。
• 支持Binlog位点设置。
• 支持通过Checkpoint机制同步保存状态。

使用限制

• 此功能目前仅支持Linux，依赖Logtail 0.16.0及以上版本，版本查看与升级请参见安装Logtail（Linux系统）。
• MySQL必须开启Binlog，且Binlog必须为row模式（默认RDS已经开启）。

  # 查看是否开启Binlog
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # 查看Binlog类型
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• ServerID必须唯一。确保需要同步的MySQL所有Slave的ID不重复。
• RDS限制
  • 无法直接在RDS服务器上安装Logtail，您需要将Logtail安装在能连通RDS实例的任意一台ECS上。
  • RDS备库不支持Binlog采集，您需要配置RDS主库进行采集。

实现原理

Logtail内部实现了MySQL Slave的交互协议，具体流程如下所示。

1. Logtail将自己伪装为MySQL的Slave节点并向MySQL的master发送dump协议。
2. MySQL的master收到dump请求后，会将自身的Binlog实时发送给Logtail。
3. Logtail对Binlog进行事件解析、过滤、数据解析等，并将解析好的数据上传到日志服务。

应用场景

数据可靠性

配置项

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

# StartBinName 设置成 "mysql-bin.000063", StartBinLogPos 设置成 0
mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000063 |       241 |
| mysql-bin.000064 |       241 |
| mysql-bin.000065 |       241 |
| mysql-bin.000066 |     10778 |
+------------------+-----------+
4 rows in set (0.02 sec)

操作步骤

从RDS中同步user_info库中不以_inner结尾的表，配置如下。

1. 登录日志服务控制台，单击Project名称。
2. 选择输入源。
   单击接入数据按钮，并在接入数据页面中选择MYSQL BINLOG。
3. 选择日志空间。
   请选择Project和Logstore，您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程。

   如果您是通过日志库下的数据接入后的加号进入采集配置流程，系统会直接跳过该步骤。

4. 创建机器组。
   在创建机器组之前，您需要首先确认已经安装了Logtail。

   • ECS机器： Linux系统勾选实例后单击安装进行一键式安装。Windows系统不支持一键式安装，请参见安装Logtail（Windows系统）手动安装。
   • 自建机器：请根据界面提示进行安装。或者请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）进行安装。

   安装完Logtail后单击确认安装完毕创建机器组，具体请参见简介。如果您之前已经创建好机器组 ，也可以直接单击使用现有机器组。
5. 配置机器组。
   选择一个机器组，将该机器组从源机器组移动到应用机器组。
6. 设置数据源。
   填写配置名称和插件配置。

   插件配置输入框中已为您提供配置模板，请根据您的需求替换配置参数。

   {
    "inputs": [
        {
            "type": "service_canal",
            "detail": {
                "Host": "************.mysql.rds.aliyuncs.com",
                "Port": 3306,
                "User" : "root",
                "ServerID" : 56321,
                "Password": "*******",
                "IncludeTables": [
                    "user_info\\..*"
                ],
                "ExcludeTables": [
                    ".*\\.\\S+_inner"
                ],
                "TextToString" : true,
                "EnableDDL" : true
            }
        }
    ]
   }

   • inputs部分为采集配置，必选项。请根据您的数据源配置对应的采集语句。
   • processors部分为处理配置，可选项。请参见处理采集数据配置一种或多种采集方式。
7. 设置索引。
   在查询分析配置阶段设置索引，默认已经设置好索引，您也可以根据业务需求，重新设置索引。具体请参见开启并配置索引。
8. 可选： 修改本地配置。
   如果您没有在插件配置中输入真实的URL、账号、密码等信息，需要在采集配置下发到本地后手动修改其中的内容。

   说明 如果您服务端输入的是真实信息，则无需此步骤。
   1. 登录Logtail所在服务器，查找/usr/local/ilogtail/user_log_config.json文件中service_canal关键词，修改下述对应的Host、User、Password等字段。
   2. 执行以下命令重启Logtail。

      sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

元数据字段

示例

注意事项

建议您适当放开对Logtail的资源限制以应对流量突增，避免Logtail因为资源超限被强制重启，对您的数据造成不必要的风险。

资源限制可通过修改/usr/local/ilogtail/ilogtail_config.json文件实现，修改完成后执行命令sudo /etc/init.d/ilogtaild stop;sudo /etc/init.d/ilogtaild start重启Logtail。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}