Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),您可以将RDS MySQL迁移至有公网IP的自建Kafka集群,扩展消息处理能力。
前提条件
- 已完成Kafka集群的搭建,且Kafka的版本为0.10.1.0-2.7.0版本。
- Kafka集群的服务端口已开放至公网。
背景信息
由于数据同步功能对自建Kafka的部署位置要求如下:
- ECS上的自建数据库
- 通过专线/VPN网关/智能接入网关接入的自建数据库
- 无公网IP:Port的数据库(通过数据库网关DG接入)
- 通过云企业网CEN接入的自建数据库
如果Kafka集群的部署位置为本地,且不符合上述场景,您可以将自建Kafka的服务端口开放至公网,然后通过本文介绍的方法来实现数据同步需求。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,甚至导致数据库服务不可用。因此您需要在执行数据迁移前评估源库和目标库的性能,同时建议您在业务低峰期执行数据迁移(例如源库和目标库的CPU负载在30%以下)。
- 如果源数据库没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。
- 迁移对象仅支持数据表。
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费,详情请参见产品定价。 |
增量数据迁移 | 收费,详情请参见产品定价。 |