MySQL Binlog输入基于Binlog实时订阅的方式,实时读取您配置的MySQL数据库表数据。本文为您介绍,如何配置MySQL Binlog输入,以及配置输入之前需要准备的网络环境及账号权限。
前提条件
配置MySQL Binlog输入之前,请确保已完成以下规划与准备工作。
- 准备数据源:已购买来源数据源MySQL。
- 资源规划与准备:已购买独享数据集成资源组,并完成资源配置。详情可参见资源规划与配置。
- 网络环境评估与规划:新增数据源之前,您需根据业务情况,打通数据源、独享数据集成资源组之间的网络,并进行交换机、白名单等网络环境下的访问配置。
- 如果数据源和独享数据集成资源组均处于同地域的同一VPC网络中,数据源与资源组间的网络天然联通。
- 如果数据源和独享数据集成资源组均处于不同的网络环境中,您需要通过VPN网关等方式,将数据源与资源组间的网络打通。
- 准备账号并授权:
您需要规划一个可访问数据源的账号,用于后续数据集成过程中访问数据源并进行数据提取、写入的同步操作。
详情请参见创建账号并配置账号权限。 - 开启MySQL Binlog:仅实时同步数据时需要开启MySQL Binlog。实时同步数据详细介绍请参见实时同步概述。
来源数据源为MySQL时,您需要开启Binlog。Binlog是记录所有数据库表结构变更(例如执行CREATE、ALTER操作)以及表数据修改(例如执行INSERT、UPDATE、DELETE等)的日志。方便您可以通过Binlog日志中的内容,查看数据库的变更历史、进行数据库增量备份和恢复以及主从数据库的复制。
Binlog日志的格式如下:详情请参见开启MySQL的Binlog。- Statement:基于SQL语句的复制。Binlog中会保存每条修改数据的SQL语句。
- Row:基于行的复制。Binlog中不保存SQL语句上下文的相关信息,仅保存被修改的记录。
- Mixed:混合模式复制。Statement与Row的结合,一般的语句修改使用Statment格式(例如函数),Statement无法完成复制的操作,则采用Row格式保存Binlog。MySQL会根据执行的每条SQL语句自主识别使用哪种格式。
使用限制
- 数据集成不支持同步MySQL Binlog只读库实例的数据。
- MySQL Binlog输入仅支持配置为RDS的V5.1、V5.5、V5.6、V5.7和V8.0版本,不支持配置为DRDS的MySQL。
在文档使用中是否遇到以下问题
更多建议
匿名提交