本文介绍将自建Kafka集群迁移到消息队列Kafka版实例的优势、原理和流程。

迁移优势

将自建Kafka集群迁移到消息队列Kafka版实例的优势,请参见产品优势

迁移原理

对于消息队列来说,如果要实现集群迁移,只需消费完旧集群的消息即可。由于Producer和Consumer Group都是集群化的,您可以通过一台一台操作的方式实现上层业务无感知。

迁移流程

将自建Kafka集群迁移到消息队列Kafka版实例的操作流程如下:

  1. 评估需要购买的消息队列Kafka版实例规格。
    详情请参见评估规格
  2. 根据推荐意见,购买并部署消息队列Kafka版实例。
    dg_migrate_2
  3. 迁移自建Kafka集群的Topic到消息队列Kafka版实例。
    详情请参见迁移Topic上云dg_migrate_3
  4. 迁移自建Kafka集群的Consumer Group到消息队列Kafka版实例。
    详情请参见迁移Consumer Group上云dg_migrate_4
  5. 可选:迁移自建Kafka集群的数据到消息队列Kafka版实例。
    注意 消息队列的特点是,数据一旦被消费,则已经完成使命。因此,除了需要将自建Kafka集群的数据备份消息队列Kafka版实例的情况外,一般情况下不推荐您迁移数据。
    详情请参见迁移数据上云dg_migrate_5
  6. 消息队列Kafka版实例开启新的Consumer Group,准备消费消息队列Kafka版实例的消息。
    dg_migrate_6
  7. 消息队列Kafka版实例开启新的Producer,下线旧的Producer,并使旧的Consumer Group继续消费自建Kafka集群的消息。
    dg_migrate_7
  8. 待自建Kafka集群的消息全部被旧的Consumer Group消费后,下线旧的Consumer Group和自建Kafka集群。
    dg_migrate_8