< 文档首页
全部产品
弹性计算
存储
数据库
网络
视频与CDN
域名与网站(万网)
应用服务
互联网中间件
移动云
移动云-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
管理与监控
开发者工具
解决方案
智能硬件
会员服务
更多

    通用迁移上云

    更新时间：2019-03-29 16:48:50

    ★ 我的收藏
    本页目录

    消息队列的特点是，数据一旦被消费，则已经完成了使命，除了备份外，没有太大意义。

    因此对于消息队列来说，如果想做集群迁移，只需要做到把旧的集群消费完毕即可，具体来说有以下几个步骤：

    建立新集群，Topic 和 ConsumerGroup 预先备好;开启消费者以做好准备消费新集群的数据；把发送者的接入点（bootstrap servers）改成新集群的接入点；待旧集群的数据消费完之后，直接下掉即可。

    图解如下：

    1.备好新集群（建好Topic和ConsumerGroup）

    准备新集群

    2.开启新消费者

    开启消费者

    3.开启新的生产者，同时下掉旧的生产者

    开启新生产者

    4.过一段时间内，下掉旧的集群即可。

    在这个过程中，Kafka 使用者需要做的事情是：

    1.迁移Metadata（也即Topic和ConsumerGroup）

    2.按照顺序修改生产者和消费者的配置重启。

    由于生产者和消费者都是集群化的，一台一台操作，可以做到对上层业务无感知。

    上一篇：【公测迁移】经典网络用户迁移
    下一篇：概述
    相关文档
    相关产品
    • 消息队列 Kafka
      消息队列 Kafka（MQ for Kafka）秉持开放、共享的原则拥抱开源，全面融合 Kafka 开源生态，做到无缝迁移，打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。
    • 消息队列 RocketMQ
      消息队列 RocketMQ 是阿里巴巴集团中间件技术部自主研发的专业消息中间件。产品基于高可用分布式集群技术，提供消息发布订阅、消息轨迹查询、定时（延时）消息、资源统计、监控报警等一系列消息云服务，是企业级互联网架构的核心产品。消息队列 RocketMQ 历史超过9年，为分布式应用系统提供异步解耦、削峰填谷的能力，同时具备海量消息堆积、高吞吐、可靠重试等互联网应用所需的特性，是阿里巴巴双11使用的核心产品。
    • 微消息队列 MQTT
      微消息队列 MQTT 广泛应用移动互联网以及物联网领域，覆盖互动直播、车联网、金融支付、智能餐饮、即时聊天、移动 Apps 等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端和云之间的双向通信，可支撑千万级设备与消息并发，从而实现万物互联。