分布队列双重总线工作原理-分布队列双重总线工作原理文档介绍内容-阿里云

自定义事件源消息服务MNS

前提条件消息服务MNS 开通消息服务MNS并授权创建队列事件总线EventBridge 开通事件总线EventBridge并授权创建自定义总线操作步骤登录事件总线EventBridge控制台。在左侧导航栏，单击事件总线。在顶部菜单栏，选择地域。在事件总线...

管理Kafka自定义连接器

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在左侧导航栏，选择 Connector生态集成>消息流入（Source）。在消息流入（Source）页面，单击创建任务。在消息流入创建面板中，完成以下配置，单击确定。...

EventBridge事件调度

前提条件事件总线开通事件总线EventBridge并授权云工作流创建工作流云消息队列 RabbitMQ 版开通云消息队列 RabbitMQ 版步骤二：创建资源创建RabbitMQ调度登录云工作流控制台，然后在顶部菜单栏，选择地域。在左侧导航栏，选择 ...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

其详细的工作原理，请参见 Canal官网。前提条件在开始本教程前，请确保您已完成以下操作：安装MySQL，并进行相关初始化与设置。具体操作，请参见 Canal QuickStart。在云消息队列 Kafka 版控制台创建实例以及Topic资源。具体操作，请...

接入Filebeat

Filebeat的工作原理如下：Filebeat启动一个或多个Input，Input在指定的位置中查找日志数据。Filebeat为每个找到的日志启动Harvester，Harvester读取日志并将日志数据发送到libbeat。libbeat聚集数据，然后将聚集的数据发送到配置的Output。...

队列（MessageQueue）

常见队列增加场景需要增加队列实现物理节点负载均衡云消息队列 RocketMQ 版每个主题的多个队列可以分布在不同的服务节点上，在集群水平扩容增加节点后，为了保证集群流量的负载均衡，建议在新的服务节点上新增队列，或将旧的队列迁移到...

应用场景

本文为您介绍 SOFAStack 消息队列的适用场景，以便您更好地判断如何在业务中使用消息队列。在互联网金融场景里，其业务涉及广泛，如支付交易、收费计息、商户结算、业务营销、会员积分、风险核查等；同时，也会涉及许多业务峰值时刻，如双 ...

事务消息

事务消息为云消息队列 RocketMQ 版中的高级特性消息，本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景分布式事务的诉求分布式系统调用的特点为一个核心业务逻辑的执行，同时需要调用多个下游业务...

生产者负载均衡

生产者发送消息到云消息队列 RocketMQ 版服务端时，云消息队列 RocketMQ 版将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍云消息队列 RocketMQ 版生产者的负载均衡策略。背景信息了解...

什么是云消息队列 RocketMQ 版？

云消息队列 RocketMQ 版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台，面向互联网分布式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。为什么选择云...

消息（Message）

本文介绍云消息队列 RocketMQ 版中消息（Message）的定义、模型关系、内部属性、行为约束及使用建议。定义消息是云消息队列 RocketMQ 版中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到云消息队列 RocketMQ...

定时/延时消息

定时/延时消息为云消息队列 RocketMQ 版中的高级特性消息，本文为您介绍定时/延时消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景说明定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻...

消费者负载均衡

策略原理队列粒度负载均衡策略中，同一消费者分组内的多个消费者将按照队列粒度消费消息，即每个队列仅被一个消费者消费。如上图所示，主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者，每个队列只能分配给一个...

路由到云消息队列 RabbitMQ 版

本文介绍如何在事件总线EventBridge 控制台添加云消息队列 RabbitMQ 版作为事件流中的服务类型。前提条件开通事件总线EventBridge并授权。您已购买并部署云消息队列 RabbitMQ 版实例，且实例处于服务中状态。具体步骤，请参见步骤...

路由到云消息队列 Kafka 版

本文介绍如何在事件总线EventBridge 控制台添加云消息队列 Kafka 版作为事件流中的服务类型。前提条件开通事件总线EventBridge并授权。您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见购买和部署...

产品优势

云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...

2020年

本文介绍事件总线EventBridge 2020年产品功能动态和文档情况，帮助您了解事件总线EventBridge 的发布动态。2020年12月功能名称功能描述发布时间相关文档事件源新增事件源资源编排。2020-12-23 产品功能事件源概述资源编排事件 ...

新零售电子价签解决方案（MQTT）

新零售电子价签解决方案由阿里云云消息队列 MQTT 版推出，通过MQTT以实现商场超市、公共场所电子标签、多媒体屏幕的数据更新管理。本文将以电子价签为例详细描述该解决方案的系统架构、数据流设计以及注意事项，其他类似行业可参考该方案...

应用场景

本文介绍云消息队列 Kafka 版的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪成功的网站运营需要对站点的用户行为进行分析。通过云消息队列 Kafka 版的发布/订阅模型，您可以实时收集网站活动数据...

概述

消息队列 SOFAStack 消息队列是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息类型，并具备高可靠、...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 RocketMQ 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。本文介绍仪表盘的应用场景、业务背景...

基于Flink的资讯场景实时数仓

部署架构图选用的产品云消息队列 Kafka 版云消息队列 Kafka 版是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...

收发事务消息

云消息队列 RocketMQ 版提供类似XA或Open XA的分布式事务功能，通过云消息队列 RocketMQ 版事务消息，能达到分布式事务的最终一致。交互流程事务消息交互流程如下图所示。更多信息，请参见事务消息。前提条件您已完成以下操作：下载C...

领域模型概述

产品定位云消息队列 RocketMQ 版是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。通信方式和传输模型的具体说明，请参见下文通信方式介绍和消息传输模型介绍。云消息队列 RocketMQ 版产品具备异步...

开源RabbitMQ迁移上云

在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...

顺序消息

本文介绍云消息队列 RocketMQ 版顺序消息的概念、适用场景、实现原理以及使用过程中的注意事项。什么是顺序消息顺序消息是云消息队列 RocketMQ 版提供的一种对消息发送和消费顺序有严格要求的消息。对于一个指定的Topic，消息严格按照...

名词解释

在使用云消息队列 MQTT 版前，需理解该产品和MQTT协议所涉及的基本概念和术语。基本概念实例（Instance）创建购买云消息队列 MQTT 版服务的实体单元，每个云消息队列 MQTT 版实例都对应一个全局唯一的服务接入点URL。使用云消息...

Topic引流

您在升级云消息队列 Kafka 版实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...

基于事件流实现RabbitMQ消息路由

本文介绍如何应用事件总线EventBridge 的事件流功能实现云消息队列 RabbitMQ 版的消息路由。前提条件您已开通事件总线EventBridge并授权。您已购买并部署云消息队列 RabbitMQ 版实例，且实例处于服务中状态。具体步骤，请参见 ...

常见问题

本文介绍与事件总线EventBridge 相关的基本问题。什么是事件总线EventBridge？阿里云事件总线EventBridge 是阿里云自研全托管的无服务器事件驱动服务总线，具备高扩展性、高可靠性，支持事件查询、事件轨迹追踪、事件跨账号传输等一系列...

顺序消息

顺序消息为云消息队列 RocketMQ 版中的高级特性消息，本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景在有序事件处理、撮合交易、数据实时增量同步等场景下，异构系统间需要维持强一致的状态同步，...

从自建MySQL同步至云消息队列 Kafka 版

背景信息云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务，针对开源的Apache Kafka提供全托管服务，彻底解决开源产品长期以来的痛点，您只需专注于业务开发，无需部署运维。云消息队列 Kafka 版广泛用于日志...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

创建SLS Sink Connector

本文介绍如何创建使用SLS Sink Connector，您可通过SLS Sink Connector将数据从云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。前提条件详细步骤，请参见创建前提。步骤一：创建目标服务资源创建日志项目（Project）。详细...

发布者最佳实践

本文介绍云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

消费者分类

云消息队列 RocketMQ 版支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息云消息队列 RocketMQ 版面向不同的业务场景提供了不同...

订阅者最佳实践

本文主要介绍云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

异步任务完成通知

消息队列RocketMQ 消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台，面向互联网分布式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。...

什么是自定义连接器

背景信息在创建事件流任务时，事件总线EventBridge 支持将事件提供方选择为自定义连接器（CustomConnector）。自定义连接器是事件流的补充功能，它基于Serverless应用引擎SAE（Serverless App Engine）构建底层资源，存储各个自定义连接器...

事件分析概述

事件总线EventBridge 支持对发布到事件总线的各种事件进行追踪查询、分析处理和可视化图表展示。本文介绍事件分析的类型、适用场景与优势。背景信息事件总线EventBridge 的实时事件分析平台依托事件的实时处理引擎，提供数值检索、可视化...

分布队列双重总线工作原理

新品推荐