采集MySQL Binlog

原理

Logtail内部实现了MySQL Slave节点的交互协议，具体流程如下所示。

1. Logtail将自己伪装为MySQL Slave节点向MySQL master节点发送dump请求。
2. MySQL master节点收到dump请求后，会将自身的Binlog实时发送给Logtail。
3. Logtail对Binlog进行事件解析、过滤、数据解析等操作，并将解析好的数据上传到日志服务。

功能特点

• 通过Binlog增量采集数据库的更新操作数据，性能优越。支持RDS等MySQL协议的数据库。
• 支持多种数据库过滤方式。
• 支持设置Binlog位点。
• 支持通过Checkpoint机制同步保存状态。

使用限制

• 不支持MySQL 8.0及以上版本。
• MySQL必须开启Binlog，且Binlog必须为row模式（RDS默认已开启Binlog）。

  # 查看是否开启Binlog
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # 查看Binlog类型
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• ServerID唯一，即需要同步的MySQL的Slave ID唯一。
• RDS限制
  • 无法直接在RDS服务器上安装Logtail，您需要将Logtail安装在能连通RDS实例的服务器上。
  • RDS备库不支持Binlog采集，您需要配置RDS主库进行采集。

应用场景

注意事项

建议您适当放开对Logtail的资源限制以应对流量突增等情况，避免Logtail因为资源超限被强制重启，对您的数据造成不必要的风险。

您可以通过/usr/local/ilogtail/ilogtail_config.json文件修改相关参数，详情请参见配置Logtail启动参数。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}

数据可靠性

操作步骤

1. 登录日志服务控制台。
2. 在接入数据区域，选择MySQL BinLog-插件。
3. 在选择日志空间页签中，选择目标Project和Logstore，单击下一步。
   您也可以单击立即创建，重新创建Project和Logstore，详情请参见步骤1：创建Project和Logstore。
4. 在创建机器组页签中，创建机器组。
   • 如果您已有可用的机器组，请单击使用现有机器组。
   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。
     1. 选择ECS实例安装Logtail，详情请参见安装Logtail（ECS实例）。

        如果已在ECS上安装Logtail，可直接单击确认安装完毕。

        说明 如果是自建集群、其他云厂商服务器，需要手动安装Logtail，详情请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。
     2. 安装完成后，单击确认安装完毕。
     3. 创建机器组，详情请参见创建IP地址机器组或创建用户自定义标识机器组。
5. 在机器组配置页签中，应用机器组。
   选择一个机器组，将该机器组从源机器组移动到应用机器组。
6. 在数据源设置页签中，配置配置名称和插件配置。
   插件配置中已提供模板，包括inputs和processors，请根据您的需求替换配置参数。

   • inputs为Logtail采集配置，必选项，请根据您的数据源配置。
     说明 一个inputs中只允许配置一个类型的数据源。
   • processors为Logtail处理配置，可选项。您可以配置一种或多种处理方式，详情请参见处理数据。

   {
    "inputs": [
        {
            "type": "service_canal",
            "detail": {
                "Host": "************.mysql.rds.aliyuncs.com",
                "Port": 3306,
                "User" : "root",
                "ServerID" : 56321,
                "Password": "*******",
                "IncludeTables": [
                    "user_info\\..*"
                ],
                "ExcludeTables": [
                    ".*\\.\\S+_inner"
                ],
                "TextToString" : true,
                "EnableDDL" : true
            }
        }
    ]
   }

   参数	类型	是否必须	说明
   type	string	是	数据源类型，固定为service_canal。
   Host	string	否	数据库主机。不配置时，默认为127.0.0.1。
   Port	int	否	数据库端口。不配置时，默认为3306。
   User	string	否	数据库用户名。不配置时，默认为root。 需保证配置的用户具有数据库读权限以及MySQL REPLICATION权限，示例如下。 CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; FLUSH PRIVILEGES;
   Password	string	否	数据库密码。不配置时，默认为空。 如果安全需求较高，建议将SQL访问用户名和密码配置为xxx，待配置同步至本地机器后，在本地文件/usr/local/ilogtail/user_log_config.json找到对应配置进行修改，详情请参见修改本地配置。 说明 如果您在控制台上修改了此参数，同步至本地后会覆盖当前本地的配置。
   ServerID	int	否	Logtail伪装成的Mysql Slave的ID。不配置时，默认为125。 说明 ServerID对于MySQL数据库必须唯一，否则会采集失败。
   IncludeTables	string数组	是	包含的表名称（包括db，例如：test_db.test_table），可配置为正则表达式。如果某个表不符合IncludeTables中的任一条件则该表不会被采集。如果您希望采集所有表，请将此参数设置为.*\\..*。 说明 如果需要完全匹配，请在前面加上^，后面加上$，例如：^test_db\\.test_table$。
   ExcludeTables	string 数组	否	忽略的表名称（包括db，例如：test_db.test_table），可配置为正则表达式。如果某个表符合ExcludeTables中的任一条件则该表不会被采集。不设置时默认收集所有表。 说明 如果需要完全匹配，请在前面加上^，后面加上$，例如：^test_db\\.test_table$。
   StartBinName	string	否	首次采集的Binlog文件名。不设置时，默认从当前时间点开始采集。 如果想从指定位置开始采集，可以查看当前的Binlog文件以及文件大小偏移量，并将StartBinName、StartBinlogPos设置成对应的值，示例如下。 # StartBinName设置成 "mysql-bin.000063", StartBinlogPos设置成 0 mysql> show binary logs; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000063 | 241 | | mysql-bin.000064 | 241 | | mysql-bin.000065 | 241 | | mysql-bin.000066 | 10778 | +------------------+-----------+ 4 rows in set (0.02 sec) 说明 当指定StartBinName时，第一次采集会产生较大流量。
   StartBinlogPos	int	否	首次采集的Binlog文件的偏移量，不设置时，默认为0。
   EnableGTID	bool	否	是否附加全局事务ID。不设置时，默认为true。设置为false时，表示上传的数据不附加全局事务ID。
   EnableInsert	bool	否	是否采集insert事件的数据。不设置时，默认为true。设置为false时，表示将不采集insert事件数据。
   EnableUpdate	bool	否	是否采集update事件的数据。不设置时，默认为true。设置为false时，表示不采集update事件数据。
   EnableDelete	bool	否	是否采集delete事件的数据。不设置时，默认为true。设置为false时，表示不采集delete事件数据。
   EnableDDL	bool	否	是否采集DDL（data definition language）事件数据。不设置时， 默认为false，表示不收集DDL事件数据。 说明 该选项不支持IncludeTables和ExcludeTables过滤。
   Charset	string	否	编码方式。不设置时，默认为utf-8。
   TextToString	bool	否	是否将text类型的数据转换成字符串。不设置时，默认为false，表示不转换。
   PackValues	bool	否	是否将事件数据打包成JSON格式。默认为false，表示不打包。如果设置为true，Logtail会将事件数据以JSON格式集中打包到data和old_data两个字段中，其中old_data仅在row_update事件中有意义。 示例：假设数据表有三列数据c1，c2，c3，设置为false，row_insert事件数据中会有c1，c2，c3三个字段，而设置为true时，c1，c2，c3会被统一打包为data字段，值为{"c1":"...", "c2": "...", "c3": "..."}。 说明 该参数仅支持Logtail 0.16.19及以上版本。
   EnableEventMeta	bool	否	是否采集事件的元数据，默认为false，表示不采集。 Binlog事件的元数据包括event_time、event_log_position、event_size和event_server_id。 说明 该参数仅支持Logtail 0.16.21及以上版本。

7. 在查询分析配置页签中，设置索引。
   默认已设置索引，您也可以根据业务需求，重新设置索引，具体请参见开启并配置索引。

   说明

   • 全文索引和字段索引属性必须至少启用一种。同时启用时，以字段索引属性为准。
   • 索引类型为long、double时，大小写敏感和分词符属性无效。

修改本地配置

如果您没有在插件配置中输入真实的Host、User、Password等信息，可以在插件配置下发到本地后进行手动修改。

1. 登录Logtail所在服务器。
2. 打开/usr/local/ilogtail/user_log_config.json文件，找到service_canal关键字，修改Host、User、Password等字段。
3. 执行以下命令重启Logtail。

   sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start