Confluent集群迁移教程

迁移操作

LDAP迁移

登录阿里云Confluent集群控制台，将账号密码信息更新到新的集群上。

1. 登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。

2. 在实例列表页面，单击目标实例名称。

3. 在实例详情页面，单击左侧操作栏的用户管理，然后单击添加 LDAP 用户。

4. 在添加 LDAP 用户对话框，设置用户名称、密码并确认密码，单击确认。

5. 登录Control Center，详情请参见登录Control Center。

6. 在右侧菜单栏选择 > MANAGE ROLE ASSIGNMENTS，然后单击Assignments，选择目标新集群。

7. 在集群详情页面，单击右侧Add role assignment，将LDAP权限信息更新到新的集群上。

数据迁移

1. 在新的集群中创建旧集群对应的Topic。详情请参见创建Topic。

2. 修改生产者的接入点，将生产者转移到新的集群上。

3. 等待消费者在旧的集群上消费完成，修改消费者的接入点，将消费者转移到新的集群上。

4. 下线旧集群。

Schema迁移

在新的集群中创建Topic后，可以自行在Topic上创建Schema。

在 Confluent Control Center 左侧导航栏中单击 Topics，选择目标 Topic 进入详情页，切换到 Schema 页签，选择 Value 或 Key 子选项卡，然后单击 Set a schema 按钮即可为该 Topic 设置 Schema。

数据迁移

LDAP迁移

阿里云将通过提供Curl命令的方式辅助您进行迁移。

1. 登录云消息队列 Kafka 版控制台，将LDAP用户账号密码信息添加至新集群中，详情请参见新增用户。

2. 阿里云向您提供相关Curl命令以拉取您的LDAP权限信息。

3. 您将LDAP权限信息发送给阿里云技术支持。

4. 执行阿里云提供的Curl命令，将权限信息更新到新的Confluent集群上。

   示例如下：

   curl -i -X POST \
      -H "Authorization:Basic XXXX==" \
      -H "Content-Type:application/json" \
      -d \
   '{"clusters":{"kafka-cluster":"XXXX"},"path":[]}' \
    'https://mds-XXXX.csp.aliyuncs.com/security/1.0/lookup/managed/rolebindings/principal/User:root'

通过ClusterLink迁移数据

Confluent提供了ClusterLink这一迁移工具，能够无损地将Topic从一个Cluster迁移到另一个Cluster上。 ClusterLink运行在Kafka Broker上，通过创建Mirror Topic的方式，使用Consumer去消费源集群的数据。等到新的Topic跟上了旧集群的Topic，即可迁移生产者和消费者到新的集群，并将其状态从同步中改为正常状态，即完成了同步。

1. 阿里云技术支持创建Clusterlink任务，并且设置需要同步的Mirror Topic。Clusterlink开启迁移后，等待Mirror的Lag靠近0。

2. 您停止源Topic的消息生产，待消费者消费完剩余数据后再停止消费者。

   说明

   如果这里有微服务同事进行生产和消费，那么需要再停止生产者时停止这样的微服务。

3. 当Mirror Lag为0时，阿里云技术支持将Mirror Topic的状态设置为PROMOTE，成为正式的Topic意味着这个Topic可以在Destination Cluster上进行生产。

4. 将所有的消费者和生产者都移动到新的集群上。当数据已经完成迁移，阿里云技术支持会修改域名解析，将域名重定向到新的集群。

5. 您重新启动生产者和消费者，就可以完成消费者和生产者从旧集群到新集群的转移。

6. 检查迁移后的Topic是否能正常工作。

通过SchemaLink迁移Schema

您将需要通过SchemaLink迁移的Topic提供给阿里云技术支持，阿里云侧创建SchemaLink，将源集群的Schema信息同步到目标集群的Schema上。这里需要保证在迁移过程中，不要创建新的Schema或者对Topic进行变动。