云消息队列 Kafka 版提供全托管、免运维的实例迁移服务,支持把自建Kafka集群的元数据(Topic和Group配置信息)和消息数据同步到云消息队列 Kafka 版实例,迁移完成后云消息队列 Kafka 版实例的元数据与自建Kafka集群的元数据保持一致并且持续更新。
迁移流程
注意事项
创建迁移上云任务时,非Serverless实例的规格类型需为专业版(高写版)或专业版(高读版)。同时,实例大版本应大于2.2.0,且处于服务中状态。
如果是将阿里云上自建的Kafka集群进行迁移,建议在与自建Kafka集群相同地域购买云消息队列 Kafka 版实例,并在部署时选择相同的VPC,采用VPC实例进行内网迁移。
本文以自建的Kafka集群通过公网迁移至云消息队列 Kafka 版公网/VPC实例为例进行说明。
重要通过公网迁移时,需要为该实例开启公网访问,然后再进行数据同步。具体步骤,请参见开启公网访问(可选)。
步骤一:规格评估
云消息队列 Kafka 版提供的规格评估功能,根据自建Kafka集群的信息,如集群流量情况、磁盘容量和类型等,评估并推荐需要的云消息队列 Kafka 版实例规格。具体操作请参见评估规格。
步骤二:购买实例
根据评估得出的实例规格,购买云消息队列 Kafka 版实例并进行部署。具体操作公网和VPC接入。
步骤三:创建迁移上云任务
登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。
在左侧导航栏,单击迁移,然后单击迁移上云。
在迁移上云页签,单击创建任务。
在创建迁移上云任务面板,配置以下参数。
在配置基本信息页签,配置任务名称和目标实例,单击下一步。
在配置源服务页签,源实例类型选择为公网(IDC或跨云云实例),配置以下参数。然后单击下一步。
参数
说明
示例
接入点
自建Kafka集群的公网接入点信息。
192.168.XX.XX:9092
安全协议
选择自建Kafka集群的安全协议。
PLAINTEXT
SASL_PLAINTEXT
SASL 用户名:填写SASL用户名。
SASL 密码:填写SASL密码。
Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
SASL_SSL
SASL 用户名:填写SASL用户名。
SASL 密码:填写SASL密码。
Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。
ssl truststore文件:上传证书文件。
ssl truststore password:填写证书的密码。
ssl endpoint identification algorithm:属于一个SSL属性,用于指定验证服务器证书的算法。在SSL通信中,可以使用此参数来验证服务器的身份,以避免中间人攻击。可填写https、http、以及空字符串。
PLAINTEXT
任务数
选择同步数据的任务数。取值说明如下:
1
6
12
12
同步sasl用户
迁移数据时是否将实例的SASL用户信息同步到云消息队列 Kafka 版实例。单击配置运行环境显示该参数。默认选择否。
是
同步topic acls
迁移数据时是否同步Topic ACLS。单击配置运行环境显示该参数。默认选择否。
是:迁移数据时会将自建Kafka集群的Topic ACLS信息同步到云消息队列 Kafka 版实例。在进行同步之前,需手动在云消息队列 Kafka 版实例中创建 SASL 用户,方可同步 Topic ACLS 信息。
否:迁移数据时不会将自建Kafka集群的Topic ACLS信息同步到云消息队列 Kafka 版实例。
是
同步消费组
迁移数据时是否将自建Kafka集群的消费组同步创建在目标实例。单击配置运行环境显示该参数。默认选择否。
是
同步消费位点
迁移数据时是否将自建Kafka集群的消费位点同步创建在目标实例。单击配置运行环境且选择同步消费组为是时显示该参数。默认选择否。
是
Topic
自建Kafka集群的Topic是否需要同步到目标实例,不填写则同步所有Topic。单击配置运行环境显示该参数。
test-topic
创建为Local引擎 Topic
迁移到目标实例的非Compact类型的Topic。如果想保持为Local引擎,则在此填写。不填写则被创建为云引擎。单击配置运行环境显示该参数。
test-topic
在配置目标服务页签,单击创建。
创建完成后,在迁移页面,从实例的下拉列表选择目标实例,在实例列表中找到创建的任务,单击其操作列的部署。
在迁移页面,您可以看到创建的任务状态为运行中,则说明任务创建成功。
步骤四:查看进度
在迁移页面,单击迁移上云页签。
找到目标任务,在其操作列,单击同步进度。
在同步进度面板中,在请选择 Topic的下拉列表中可以看到已经同步的Topic列表。
在下拉列表中选择需要查看的Topic,即可查看该Topic各分区的数据同步情况。
后续操作
为云消息队列 Kafka 版实例开启新的Group,准备消费实例的消息。
为云消息队列 Kafka 版实例开启新的Producer,下线旧的Producer,并使旧的Group继续消费自建Kafka集群的消息。
待自建Kafka集群的消息全部被旧的Group消费后,下线旧的Group和自建Kafka集群。