< 文档首页
全部产品
弹性计算
存储
数据库
网络
视频与CDN
域名与网站(万网)
应用服务
互联网中间件
移动研发平台EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
管理与监控
云市场
开发者工具
解决方案
智能硬件
会员服务
更多

    集群消费和广播消费

    更新时间：2019-09-13 20:34:12

    ★ 我的收藏
    本页目录

    本文介绍消息队列 MQ 的集群消费和广播消费的基本概念、适用场景以及注意事项。

    基本概念

    消息队列 MQ 是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式部署，因此消息队列 MQ 约定以下概念：

    • 集群：使用相同 Group ID 的消费者属于同一个集群。同一个集群下的消费者消费逻辑必须完全一致（包括 Tag 的使用）。详见订阅关系一致。

    • 集群消费：当使用集群消费模式时，消息队列 MQ 认为任意一条消息只需要被集群内的任意一个消费者处理即可。

    • 广播消费：当使用广播消费模式时，消息队列 MQ 会将每条消息推送给集群内所有注册过的消费者，保证消息至少被每个消费者消费一次。

    消费模式对比

    集群消费模式

    • 适用场景

      适用于消费端集群化部署，每条消息只需要被处理一次的场景。此外，由于消费进度在服务端维护，可靠性更高。具体消费示例如下图所示。

    集群消费

    • 注意事项
      • 集群消费模式下，每一条消息都只会被分发到一台机器上处理。如果需要被集群下的每一台机器都处理，请使用广播模式。
      • 集群消费模式下，不保证每一次失败重投的消息路由到同一台机器上。

    广播消费模式

    • 适用场景

      适用于消费端集群化部署，每条消息需要被集群下的每个消费者处理的场景。具体消费示例如下图所示。

    广播消费

    • 注意事项
      • 广播消费模式下不支持顺序消息。
      • 广播消费模式下不支持重置消费位点。
      • 每条消息都需要被相同订阅逻辑的多台机器处理。
      • 消费进度在客户端维护，出现重复消费的概率稍大于集群模式。
      • 广播模式下，消息队列 MQ 保证每条消息至少被每台客户端消费一次，但是并不会重投消费失败的消息，因此业务方需要关注消费失败的情况。
      • 广播模式下，客户端每一次重启都会从最新消息消费。客户端在被停止期间发送至服务端的消息将会被自动跳过，请谨慎选择。
      • 广播模式下，每条消息都会被大量的客户端重复处理，因此推荐尽可能使用集群模式。
      • 广播模式下服务端不维护消费进度，所以消息队列 MQ 控制台不支持消息堆积查询、消息堆积报警和订阅关系查询功能。

    使用集群模式模拟广播

    • 适用场景

      适用于每条消息都需要被多台机器处理，每台机器的逻辑可以相同也可以不一样的场景。具体消费示例如下图所示。

      如果业务需要使用广播模式，也可以创建多个 Group ID，用于订阅同一个 Topic。

    集群模拟广播消费

    • 注意事项
      • 消费进度在服务端维护，可靠性高于广播模式。
      • 对于一个 Group ID 来说，可以部署一个消费者实例，也可以部署多个消费者实例。当部署多个消费者实例时，实例之间又组成了集群模式（共同分担消费消息）。假设 Group ID 1 部署了三个消费者实例 C1、C2、C3，那么这三个实例将共同分担服务器发送给 Group ID 1 的消息。同时，实例之间订阅关系必须保持一致。详见订阅关系一致。

    更多信息

    集群消费模式和广播消费模式的具体配置方法，请参见以下文档：

    上一篇：Exactly-Once 投递语义
    下一篇：主账号快速入门
    相关文档
    相关产品
    • 消息队列 MQ
      消息队列 MQ 产品基于高可用分布式集群技术，提供消息发布订阅、消息轨迹查询、定时（延时）消息、资源统计、监控报警等一系列消息云服务，是企业级互联网架构的核心产品。消息队列 MQ 历史超过 9 年，为分布式应用系统提供异步解耦、削峰填谷的能力，同时具备海量消息堆积、高吞吐、可靠重试等互联网应用所需的特性，是阿里巴巴双 11 使用的核心产品。
    • 微消息队列 MQTT
      微消息队列 MQTT 广泛应用移动互联网以及物联网领域，覆盖互动直播、车联网、金融支付、智能餐饮、即时聊天、移动 Apps 等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端和云之间的双向通信，可支撑千万级设备与消息并发，从而实现万物互联。
    • 消息队列 for Apache Kafka
      消息队列 for Apache Kafka（MQ for Apache Kafka）秉持开放、共享的原则拥抱开源，全面融合 Kafka 开源生态，做到无缝迁移，打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。