队列(MessageQueue)

队列的主要作用如下:存储顺序队列天然具备顺序性,即消息按照进入队列顺序写入存储,同一队列间的消息天然存在顺序关系,队列头部为最早写入的消息,队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点(Offset...

顺序消息

顺序消息为 云消息队列 RocketMQ 版 中的高级特性消息,本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 在有序事件处理、撮合交易、数据实时增量同步等场景下,异构系统间需要维持强一致的状态同步,...

MQTT和RocketMQ进行数据互通(客户端上下线通知)

如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能,例如顺序消息特性、事务消息特性等,您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文以公网环境中的Java SDK为例说明...

基本概念

本文说明 云消息队列 Kafka 版 涉及的专有名词和术语,帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台,可以实时发布、订阅、存储和处理数据流。更多信息,请参见 Apache Kafka。云消息队列 Kafka 版...

顺序消息

消息存储 如上图所示,顺序消息的Topic中,每个逻辑队列对应一个物理队列,当消息按照顺序发送到Topic中的逻辑队列时,每个分区的消息将按照同样的顺序存储到对应的物理队列中。消息消费 云消息队列 RocketMQ 版 按照存储的顺序将消息投递...

消息(Message)

FIFO:顺序消息,云消息队列 RocketMQ 版 通过消息分组MessageGroup标记一组特定消息的先后顺序,可以保证消息的投递顺序严格按照消息发送时的顺序。Delay:定时/延时消息,通过指定延时时间控制消息生产后不要立即投递,而是在延时间隔后...

应用场景

消息的顺序收发 云消息队列 RocketMQ 版 顺序消息分为两种情况:全局顺序:对于指定的一个Topic,所有消息将按照严格的先入先出(FIFO)的顺序,进行顺序发布和顺序消费。分区顺序:对于指定的一个Topic,所有消息根据Sharding Key进行区块...

生产者负载均衡

生产者发送消息到 云消息队列 RocketMQ 版 服务端时,云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中,避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...

证书管理概述

服务器证书需要您自行购买或自行签发后,托管到 数字证书管理服务,并通过服务器证书重启 云消息队列 MQTT 版 服务。具体操作,请参见 服务器证书管理。服务端认证客户端 云消息队列 MQTT 版 服务端对客户端的认证通过对设备证书的认证完成...

升级Broker可能产生哪些影响?

升级Broker可能产生以下影响:升级过程中,会逐个重启 云消息队列 Kafka 版 集群中所有的Broker。在重启Broker的过程中服务不会中断,但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序。重启过程中已有的客户端连接可能...

服务器证书管理

步骤三:使用服务器证书启动服务 启动服务会重启 云消息队列 MQTT 版 实例,重启时间预计5~10分钟,重启后客户端即可使用服务器证书做服务端认证。启动服务后,8883端口将开启双向认证,同时关闭单向认证。警告 使用服务器证书启动服务,...

功能与特性概述

云消息队列 RocketMQ 版 的分布式特点和瞬变的网络条件,或者用户应用重启发布的情况下,可能导致消费者收到重复的消息。开发人员应将其应用程序设计为多次处理一条消息不会产生任何错误或不一致性。消息幂等最佳实践请参见 消费幂等。消息...

消费者分类

顺序性保障 基于 云消息队列 RocketMQ 版 顺序消息 的定义,如果消费者分组设置了顺序消费模式,则PushConsumer在触发消费监听器时,严格遵循消息的先后顺序。业务处理逻辑无感知即可保证消息的消费顺序。说明 消息消费按照顺序处理的前提...

客户端证书认证

服务器证书需要您自行购买或自行签发后,托管到 数字证书管理服务,并通过服务器证书重启 云消息队列 MQTT 版 服务。具体操作,请参见 服务器证书管理。服务端认证客户端 云消息队列 MQTT 版 服务端对客户端的认证通过对设备证书的认证完成...

迁移上云操作

重要 开源Apache RocketMQ 4.x系列SDK的消息消费顺序在客户端中配置,阿里云 云消息队列 RocketMQ 版 5.x版本实例在服务端中控制Group的消费顺序,因此在元数据迁移时,您需要根据实际业务场景手动录入Group的消费顺序类型。如果消费顺序的...

领域模型概述

云消息队列 RocketMQ 版 通过流式特性的无限队列结构来存储消息,消息在队列内具备顺序性存储特征。消息(Message):云消息队列 RocketMQ 版 的最小传输单元。消息具备不可变性,在初始化发送和完成存储后即不可变。消息消费 消费者分组...

集群消费和广播消费

集群消费和广播消费是 云消息队列 RocketMQ 版 的基本消费模式,您可以在消费者客户端将消费模式设置为集群消费或者广播消费,用于控制同一条消息只能被集群内一个消费者消费到,还是会被集群内每个消费者都消费到。背景信息 云消息队列 ...

步骤三:创建资源

当使用 云消息队列 Kafka 版 进行消息收发时,您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic,消费者通过订阅Topic获取消息进行消费。消费者消费消息时,需要指定Group订阅对应的Topic。Group和...

消息过滤

消费者订阅了某个主题后,云消息队列 RocketMQ 版 会将该主题中的所有消息投递给消费者。若消费者只需要关注部分消息,可通过设置过滤条件在 云消息队列 RocketMQ 版 服务端进行过滤,只获取到需要关注的消息子集,避免接收到大量无效的...

作为Input接入

云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 VPC...

Topic引流

您在升级 云消息队列 Kafka 版 实例的流量规格时,可能会触发集群横向扩容。集群横向扩容完成后,您需要进行Topic引流,使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上,原有的Topic的峰值流量...

常见问题

本文汇总了使用 云消息队列 RocketMQ 版 时的常见问题。产品功能常见问题 云消息队列 RocketMQ 版5.0系列相比4.0系列实例有什么优势?云消息队列 RocketMQ 版5.0系列实例兼容哪些版本客户端?云消息队列 RocketMQ 版支持哪些语言客户端?云...

常见问题

本文汇总了使用 云消息队列 RocketMQ 版 时的常见问题。产品功能常见问题 消息队列RocketMQ版5.x系列相比4.x系列实例有什么优势?消息队列RocketMQ版5.x系列实例兼容哪些版本客户端?消息队列RocketMQ版支持哪些语言客户端?消息队列...

作为Input接入

云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 VPC...

生产者(Producer)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 客户端ID 定义:生产者客户端的标识,用于区分不同的生产者。集群内全局...

作为Output接入

云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 VPC接入。下载并安装Logstash。具体操作,请...

订阅者最佳实践

消费失败 云消息队列 Kafka 版 是按分区逐条消息顺序向前推进消费的,如果消费端拿到某条消息后执行消费逻辑失败,例如应用服务器出现了脏数据,导致某条消息处理失败,等待人工干预,那么有以下两种处理方式:失败后一直尝试再次执行消费...

作为Input接入

云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...

作为Output接入

云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。更多信息,请参见 VPC...

将云消息队列 Kafka 版接入阿里云Elasticsearch

随着时间的积累,云消息队列 Kafka 版 中的日志数据会越来越多。当您需要查看并分析庞杂的日志数据时,可通过阿里云Logstash将 云消息队列 Kafka 版 中的日志数据导入阿里云Elasticsearch,然后通过Kibana进行可视化展示与分析。本文介绍将...

如何快速测试云消息队列 Kafka 版服务端是否正常?

在创建并部署 云消息队列 Kafka 版 实例后,您可以使用 云消息队列 Kafka 版 控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...

作为Output接入

云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...

作为Input接入

云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...

作为Output接入

云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...

存储引擎对比

在创建Topic时,您可以为 云消息队列 Kafka 版 选择云存储或Local存储引擎。云存储依托阿里云云盘算法、低延迟、低成本、弹性伸缩能力更好,适用于大多数场景;若有特殊需求,例如Compact、幂等、事务、分区顺序消息等,建议您选择Local...

配额与限制

云消息队列 RocketMQ 版 对实例的资源配额、实例规格和相关参数进行了约束和规范,您在使用 云消息队列 RocketMQ 版 时不要超过对应的限制值,避免应用出现异常。参数限制 以下参数中各资源的命名及备注等限制值不支持调整,请严格按照规范...

消息类型

普通消息 定时和延时消息 顺序消息 事务消息 普通消息 普通消息是指消息队列中无特性的消息,区别于有特性的定时/延时消息、顺序消息和事务消息。TCP Java SDK 收发普通消息的示例代码 发送普通消息(三种方式)发送消息(多线程)订阅消息...

Demo工程

本文介绍 云消息队列 MQTT 版 的Demo工程,包含各种应用场景的使用指导,请参见程序源码的文档注释进行理解。获取多语言Demo 示例代码全集请参见 mqtt-demo。下载完成后解压即可看到本地新增了 mqtt-demo-main 文件夹。其中一级文件夹是...

MQTT客户端上下线事件数据流出

您可通过配置 云消息队列 MQTT 版 的客户端上下线通知规则,将获取的MQTT客户端上下线事件数据导出至其他阿里云产品。该方法为异步上下线通知。本文介绍客户端上下线通知的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云...

获取MQTT客户端在线状态

您可通过调用同步查询接口或使用异步上下线通知的方式获取 云消息队列 MQTT 版 客户端(下文简称为客户端)当前在线情况。应用场景 云消息队列 MQTT 版 需结合后端存储消息队列产品,如 云消息队列 RocketMQ 版 等使用,来和部署在云端...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 Kafka 版 云消息队列 RocketMQ 版 云工作流 全局事务服务 (文档停止维护) 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用