Confluent集群迁移教程

迁移操作

LDAP迁移

登录阿里云Confluent集群控制台，将账号密码信息更新到新的集群上。

1. 登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。

2. 在实例列表页面，单击目标实例名称。

3. 在实例详情页面，单击左侧操作栏的用户管理，然后单击添加LDAP用户。

4. 在添加LDAP用户对话框，设置用户名称、密码并确认密码，单击确认。

5. 登录Control Center，详情请参见登录Control Center。

6. 在右侧菜单栏选择 > MANAGE ROLE ASSIGNMENTS，然后单击Assignments，选择目标新集群。

7. 在集群详情页面，单击右侧Add role assignment，将LDAP权限信息更新到新的集群上。

数据迁移

1. 在新的集群中创建旧集群对应的Topic。详情请参见创建Topic。

2. 修改生产者的接入点，将生产者转移到新的集群上。

3. 等待消费者在旧的集群上消费完成，修改消费者的接入点，将消费者转移到新的集群上。

4. 下线旧集群。

Schema迁移

在新的集群中创建Topic后，可以自行在Topic上创建Schema。

数据迁移

LDAP迁移

阿里云将通过提供Curl命令的方式辅助您进行迁移。

1. 登录云消息队列 Kafka 版控制台，将LDAP用户账号密码信息添加至新集群中，详情请参见新增用户。

2. 阿里云向您提供相关Curl命令以拉取您的LDAP权限信息。

3. 您将LDAP权限信息发送给阿里云技术支持。

4. 执行阿里云提供的Curl命令，将权限信息更新到新的Confluent集群上。

   示例如下：

   curl -i -X POST \
      -H "Authorization:Basic XXXX==" \
      -H "Content-Type:application/json" \
      -d \
   '{"clusters":{"kafka-cluster":"XXXX"},"path":[]}' \
    'https://mds-XXXX.csp.aliyuncs.com/security/1.0/lookup/managed/rolebindings/principal/User:root'

通过ClusterLink迁移数据

Confluent提供了ClusterLink这一迁移工具，能够无损地将Topic从一个Cluster迁移到另一个Cluster上。 ClusterLink运行在Kafka Broker上，通过创建Mirror Topic的方式，使用Consumer去消费源集群的数据。等到新的Topic跟上了旧集群的Topic，即可迁移生产者和消费者到新的集群，并将其状态从同步中改为正常状态，即完成了同步。

1. 阿里云技术支持创建Clusterlink任务，并且设置需要同步的Mirror Topic。Clusterlink开启迁移后，等待Mirror的Lag靠近0。

2. 您停止源Topic的消息生产，待消费者消费完剩余数据后再停止消费者。

   说明

   如果这里有微服务同事进行生产和消费，那么需要再停止生产者时停止这样的微服务。

3. 当Mirror Lag为0时，阿里云技术支持将Mirror Topic的状态设置为PROMOTE，成为正式的Topic意味着这个Topic可以在Destination Cluster上进行生产。

4. 将所有的消费者和生产者都移动到新的集群上。当数据已经完成迁移，阿里云技术支持会修改域名解析，将域名重定向到新的集群。

5. 您重新启动生产者和消费者，就可以完成消费者和生产者从旧集群到新集群的转移。

6. 检查迁移后的Topic是否能正常工作。

通过SchemaLink迁移Schema

您将需要通过SchemaLink迁移的Topic提供给阿里云技术支持，阿里云侧创建SchemaLink，将源集群的Schema信息同步到目标集群的Schema上。这里需要保证在迁移过程中，不要创建新的Schema或者对Topic进行变动。