数据传输服务DTS(Data Transmission Service)支持RDS MySQL实例同步至阿里云消息队列Kafka版。
前提条件
- 已创建源实例RDS MySQL和目标实例阿里云消息队列Kafka版。
说明
- 源实例RDS MySQL的创建方式,请参见创建RDS MySQL实例。
- 支持的版本,请参见同步方案概览。
- 目标实例阿里云消息队列Kafka版中已创建用于接收同步数据的Topic,请参见步骤一:创建Topic。
- 目标实例阿里云消息队列Kafka版的存储空间须大于源实例RDS MySQL占用的存储空间。
注意事项
类型 | 说明 |
---|---|
源库的环境要求 |
|
注意事项 |
|
特殊情况 |
当源库为自建MySQL时
|
单条记录大小限制
由于写入Kafka单条记录的大小是10MB,因此当源端一行数据超过10MB时,DTS由于无法成功写入Kafka会导致任务中断。在该场景下建议您不要同步该表,如果一定要同步,也只能同步部分列,即配置DTS任务时,过滤掉这些大字段的记录。如果已经是在同步中的任务,则需要修改同步对象,将该表移出,再次点击修改同步对象,加入该表,并将该表的大字段列过滤,不做同步。
支持的同步架构
- 一对一单向同步。
- 一对多单向同步。
- 多对一单向同步。
支持同步的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |
DDL |
|
操作步骤
说明 本文以新版DTS操作为例,与DMS操作有一些差异,具体操作请以DMS的实际界面为准。