自建Kafka集群迁移上云

更新时间: 2025-06-03 16:25:29

在使用自建Kafka集群时,当您希望业务的成本更低、弹性更强、可靠性更高时,您可以将自建Kafka集群迁移上至云消息队列 Kafka 版云消息队列 Kafka 版提供全托管、免运维的服务可以让您只需专注于业务开发,无需部署运维。

注意事项

  • 迁移不会删除自建的源Kafka集群的Topic和Group,只是在目标云消息队列 Kafka 版实例中创建相同配置的Topic和Group。

  • 可以根据方案选择是否需要迁移消息数据和位点信息。

方案说明

对于消息队列来说,如果要实现集群迁移,只需消费完旧集群的消息即可。由于Producer和Consumer都是集群化的,您可以通过一台一台机器操作的方式实现上层业务无感知。将自建Kafka集群迁移到云消息队列 Kafka 版实例的优势,请参见产品优势

迁移自建Kafka集群至云消息队列 Kafka 版实例方案如下图所示。

image

云消息队列 Kafka 版提供以下方案可供选择:

对比项

迁移上云

元数据导入

借助工具迁移

迁移方式

通过在云消息队列 Kafka 版控制台创建迁移任务来实现数据迁移。一般情况下,推荐使用迁移上云功能进行迁移。

通过迁移工具kafka-migration-assessment.jar将数据导出为JSON文件,然后在云消息队列 Kafka 版控制台创建元数据导入任务进行迁移。

说明

当自建Kafka集群不支持公网访问时,可选择元数据导入方式进行迁移。

通过迁移工具kafka-migration-assessment.jarMirrorMaker来实现数据迁移。

迁移内容

  • Topic

  • Group

  • 消息数据和位点信息

  • Topic ACLs

    在进行迁移之前,必须在云消息队列 Kafka 版控制台中创建 SASL 用户。

  • Topic

  • Group

  • kafka-migration-assessment.jar

    • Topic

    • Group

  • MirrorMaker

    • 消息数据和位点信息

迁移流程

  1. 获取源实例的公网访问连接点。

  2. 在控制台上创建迁移上云任务。

  3. 为实例开启新的Group,准备消费实例的消息。

  4. 为实例开启新的Producer,下线旧的Producer,并使旧的Group继续消费自建Kafka集群的消息。

  5. 待自建Kafka集群的消息全部被旧的Group消费后,下线旧的Group和自建Kafka集群。

  1. 使用迁移工具迁移自建Kafka集群至实例。

  2. 为实例开启新的Group,准备消费实例的消息。

  3. 为实例开启新的Producer,下线旧的Producer,并使旧的Group继续消费自建Kafka集群的消息。

  4. 待自建Kafka集群的消息全部被旧的Group消费后,下线旧的Group和自建Kafka集群。

相关文档

上一篇: 订阅者最佳实践 下一篇: 评估规格
阿里云首页 云消息队列 Kafka 版 相关技术圈