迁移上云

云消息队列 Kafka 版提供全托管、免运维的实例迁移服务,支持把自建Kafka集群的元数据(TopicGroup配置信息)和消息数据同步到云消息队列 Kafka 版实例,迁移完成后云消息队列 Kafka 版实例的元数据与自建Kafka集群的元数据保持一致并且持续更新。

迁移流程

image

注意事项

  • 创建迁移上云任务时,非Serverless实例的规格类型需为专业版(高写版)专业版(高读版)。同时,实例大版本应大于2.2.0,且处于服务中状态。

  • 如果是将阿里云上自建的Kafka集群进行迁移,建议在与自建Kafka集群相同地域购买云消息队列 Kafka 版实例,并在部署时选择相同的VPC,采用VPC实例进行内网迁移。

  • 本文以自建的Kafka集群通过公网迁移至云消息队列 Kafka 版公网/VPC实例为例进行说明。

    重要

    通过公网迁移时,需要为该实例开启公网访问,然后再进行数据同步。具体步骤,请参见开启公网访问(可选)

步骤一:规格评估

云消息队列 Kafka 版提供的规格评估功能,根据自建Kafka集群的信息,如集群流量情况、磁盘容量和类型等,评估并推荐需要的云消息队列 Kafka 版实例规格。具体操作请参见评估规格

步骤二:购买实例

根据评估得出的实例规格,购买云消息队列 Kafka 版实例并进行部署。具体操作公网和VPC接入

步骤三:创建迁移上云任务

  1. 登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。

  2. 在左侧导航栏,单击迁移,然后单击迁移上云

  3. 迁移上云页签,单击创建任务

  4. 创建迁移上云任务面板,配置以下参数。

    1. 配置基本信息页签,配置任务名称目标实例,单击下一步

    2. 配置源服务页签,源实例类型选择为公网(IDC或跨云云实例),配置以下参数。然后单击下一步

      参数

      说明

      示例

      接入点

      自建Kafka集群的公网接入点信息。

      192.168.XX.XX:9092

      安全协议

      选择自建Kafka集群的安全协议。

      • PLAINTEXT

      • SASL_PLAINTEXT

        • SASL 用户名:填写SASL用户名。

        • SASL 密码:填写SASL密码。

        • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256SCRAM-SHA-512。

      • SASL_SSL

        • SASL 用户名:填写SASL用户名。

        • SASL 密码:填写SASL密码。

        • Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256SCRAM-SHA-512。

        • ssl truststore文件:上传证书文件。

        • ssl truststore password:填写证书的密码。

        • ssl endpoint identification algorithm:属于一个SSL属性,用于指定验证服务器证书的算法。在SSL通信中,可以使用此参数来验证服务器的身份,以避免中间人攻击。可填写https、http、以及空字符串。

      PLAINTEXT

      任务数

      选择同步数据的任务数。取值说明如下:

      • 1

      • 6

      • 12

      12

      同步sasl用户

      迁移数据时是否将实例的SASL用户信息同步到云消息队列 Kafka 版实例。单击配置运行环境显示该参数。默认选择

      同步topic acls

      迁移数据时是否同步Topic ACLS。单击配置运行环境显示该参数。默认选择

      • :迁移数据时会将自建Kafka集群的Topic ACLS信息同步到云消息队列 Kafka 版实例。在进行同步之前,需手动在云消息队列 Kafka 版实例中创建 SASL 用户,方可同步 Topic ACLS 信息。

      • :迁移数据时不会将自建Kafka集群的Topic ACLS信息同步到云消息队列 Kafka 版实例。

      同步消费组

      迁移数据时是否将自建Kafka集群的消费组同步创建在目标实例。单击配置运行环境显示该参数。默认选择

      同步消费位点

      迁移数据时是否将自建Kafka集群的消费位点同步创建在目标实例。单击配置运行环境且选择同步消费组时显示该参数。默认选择

      Topic

      自建Kafka集群的Topic是否需要同步到目标实例,不填写则同步所有Topic。单击配置运行环境显示该参数。

      test-topic

      创建为Local引擎 Topic

      迁移到目标实例的非Compact类型的Topic。如果想保持为Local引擎,则在此填写。不填写则被创建为云引擎。单击配置运行环境显示该参数。

      test-topic

    3. 配置目标服务页签,单击创建

  5. 创建完成后,在迁移页面,从实例的下拉列表选择目标实例,在实例列表中找到创建的任务,单击其操作列的部署

    迁移页面,您可以看到创建的任务状态运行中,则说明任务创建成功。

步骤四:查看进度

  1. 迁移页面,单击迁移上云页签。

  2. 找到目标任务,在其操作列,单击同步进度

  3. 同步进度面板中,在请选择 Topic的下拉列表中可以看到已经同步的Topic列表。

  4. 在下拉列表中选择需要查看的Topic,即可查看该Topic各分区的数据同步情况。

后续操作

  1. 云消息队列 Kafka 版实例开启新的Group,准备消费实例的消息。

  2. 云消息队列 Kafka 版实例开启新的Producer,下线旧的Producer,并使旧的Group继续消费自建Kafka集群的消息。

  3. 待自建Kafka集群的消息全部被旧的Group消费后,下线旧的Group和自建Kafka集群。