通过可观测性能力进行故障处理最佳实践

设计思路 核心问题 运维场景下,故障处理的核心问题如下:服务出现异常如何预警并上报 出现异常问题如何快速定位 解决方案 云消息队列 RocketMQ 版 定义的Metrics、Tracing指标覆盖消息收发各阶段的状态信息、云消息队列 RocketMQ 版 服务...

消息过滤

云消息队列 RocketMQ 版 主要解决的单个业务域即同一个主题内不同消息子集的过滤问题,一般是基于同一业务下更具体的分类进行过滤匹配。如果是需要对不同业务域的消息进行拆分,建议使用不同主题处理不同业务域的消息。功能概述 消息过滤...

消费者负载均衡

背景信息 了解消费者负载均衡策略,可以帮助您解决以下问题:消息消费处理的容灾策略:您可以根据消费者负载均衡策略,明确当局部节点出现故障时,消息如何进行消费重试和容灾切换。消息消费的顺序性机制:通过消费者负载均衡策略,您可以...

生产者负载均衡

背景信息 了解生产者负载均衡策略,可以帮助您解决如下问题:消息发送的容灾策略:您可以根据生产者负载均衡策略,明确当局部节点出现故障时,消息发送如何进行容灾切换。消息发送的顺序性机制:通过生产者负载均衡策略,您可以进一步了解...

消费重试

应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的消费完整性问题,是一种为业务兜底的策略,不应该被用作业务流程控制。以下场景建议使用消息重试 业务处理失败,且失败原因跟当前的消息内容相关,比如该...

开源对比

云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品,能够兼容开源RabbitMQ客户端,与开源RabbitMQ相比,能够解决各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等...

订阅者最佳实践

消费客户端(Consumer)频繁出现Rebalance 心跳超时会引发Rebalance,可以通过参数调整、提高消费速度等方法解决。更多信息,请参见 为什么消费客户端频繁出现Rebalance?分区个数 分区个数主要影响的是消费者的并发数量。对于同一个Group...

事务消息

因此,如何保证核心业务和多个下游业务的执行结果完全一致,是分布式事务需要解决的主要问题。以电商交易场景为例,用户支付订单这一核心操作的同时会涉及到下游物流发货、积分变更、购物车状态清空等多个子系统的变更。当前业务的处理分支...

发布者最佳实践

Batch机制,云消息队列 Kafka 版 Producer端主要通过两个参数进行控制:batch.size:发往每个分区(Partition)的消息缓存量(消息内容的字节数之和,不是条数)。达到设置的数值时,就会触发一次网络请求,然后Producer客户端把消息批量发...

查看Rebalance详情

当消费客户端出现Rebalance时,您可以查看Rebalance的详情,包括Rebalance的时间、耗时、次数、原因以及...后续步骤 当客户端频繁出现Rebalance时,您可以参考以下文档解决问题:使用云消息队列 Kafka 版时消费客户端频繁出现Rebalance。

消费者分类

云消息队列 RocketMQ 版 支持PushConsumer和SimpleConsumer这两种类型的消费者,本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...

常见问题

使用云消息队列 Kafka 版时客户端的报错及解决方案 无法ping通云消息队列 Kafka 版的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法 使用云消息队列 Kafka 版时出现消息堆积 为什么消费客户...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

MQTT快速入门

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...

使用限制

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...

如何处理消息堆积

解决方案 若出现消息堆积,可参考以下措施进行定位和处理。判断消息堆积在 云消息队列 RocketMQ 版 服务端还是客户端。查看客户端本地日志文件 ons.log,搜索是否出现如下信息:the cached message count exceeds the threshold 出现相关...

MQTT和RocketMQ进行数据互通(跨产品数据流出)

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...

MQTT和RocketMQ进行数据互通(跨产品数据流入)

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...

MQTT和RocketMQ进行数据互通(客户端上下线通知)

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...

快速使用MQTT的Java SDK收发消息(终端和终端消息收发...

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:终端或云端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。终端或云端网络侧对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被...

快速使用MQTT的Java SDK收发消息(终端和云端消息收发...

在以下使用情况中出现问题 云消息队列 MQTT 版 产品方概不负责:终端或云端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。终端或云端网络侧对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被...

使用云消息队列 Kafka 版时客户端的报错及解决方案

报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)失败 说明 该报错仅出现在 云消息队列 Kafka 版 的公网实例中。确保servers配置正确。通过 telnet 命令排除网络问题。如果网络...

应用场景

与传统架构不同,云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现,就是为了更好地解决这类数据在处理过程中遇到的问题,数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理,并根据业务需求进行计算分析...

基于Flink的资讯场景实时数仓

解决问题 通过 云消息队列 Kafka 版 和实时计算Flink实现实时数据处理和数据流。通过 云消息队列 Kafka 版 和实时计算Flink实现实时数据分析。通过 云消息队列 Kafka 版 和实时计算Flink实现事件触发。部署架构图 选用的产品 云消息队列 ...

无法ping通云消息队列 Kafka 版的接入点

当使用接入点连接Kafka连接不通或连接超时(Connection timed out),请检查您...相关文档 客户端首次接入时的常见问题,请参见 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法。VPC实例可以通过 升级实例配置 升配为公网/VPC实例。

消息队列Kafka版删除Group后仍然收到消息堆积的告警...

问题描述 使用阿里云消息队列Kafka版时,删除Group后,仍然收到消息堆积的告警信息,如何过滤某个Group的消费堆积告警。问题原因 发生消息堆积告警信息的原因如下:2.2.0以前的Kafka服务端版本,开源Kafka未提供删除Group和消费位点的Open...

删除Group后仍然收到消息堆积的告警信息

问题现象 使用阿里云 云消息队列 Kafka 版 时,删除 Group 后,仍然收到消息堆积的告警信息。可能原因 发生消息堆积告警信息的原因如下:2.0.0以前的Kafka服务端版本,开源Kafka未提供删除 Group 和消费位点的OpenAPI,因此删除 Group,...

配置消息监控告警实现风险预警

云消息队列 RocketMQ 版 联合 阿里云云监控 提供了开箱即用且免费的监控报警服务,可帮助您解决如下问题:实例规格水位监控预警 若您实际使用的指标值超过实例的规格限制,云消息队列 RocketMQ 版 会进行强制限流。提前配置实例规格水位告...

消费进度管理

通过了解 云消息队列 RocketMQ 版 的消费进度管理机制,可以帮助您解答以下问题:消费者启动后从哪里开始消费消息?消费者每次消费成功后如何标记消息状态,确保下次不会再重复处理该消息?某消息被指定消费者消费过一次后,如果业务出现...

消息存储和清理机制

本文为您介绍 云消息队列 RocketMQ 版 中消息的存储机制,包括消息的存储粒度、判断依据及后续处理策略等。背景信息 参考 云消息队列 RocketMQ 版 中 队列 的定义,消息按照达到服务器的先后顺序被存储到队列中,理论上每个队列都支持无限...

查看消费状态

有消息堆积就一定是出现问题了吗?不一定。一般分为以下三种情况:最近消费时间与当前时间接近,并且堆积量保持在一个稳定的数值之间波动,没有持续扩大。说明客户端一直在拉取最新消息,没有消息堆积,属于正常情况。堆积量逐步扩大,并且...

RocketMQ全链路追踪解决方案

在分布式应用系统中,多个服务间的交互涉及复杂的网络通信和数据传输,往往一次请求需要多个内部服务间的相互调用才能完成,任何一个环节出现问题都可能导致外部服务任务执行失败或延时,且很难快速定位问题根源。链路追踪功能可在多个服务...

为什么消费客户端频繁出现Rebalance?

问题现象 使用 云消息队列 Kafka 版 时,消费客户端频繁出现Rebalance。可能原因 可能导致故障的原因包括:v0.10.2之前版本的客户端:Consumer没有独立线程维持心跳,而是把心跳维持与poll接口耦合在一起。其结果就是,如果用户消费出现...

消息堆积和延迟问题

本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中,经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因,帮助您可以在业务部署前更好的规划资源和配置,或...

消息发送重试和流控机制

背景信息 消息发送重试 云消息队列 RocketMQ 版 的消息发送重试机制主要为您解答如下问题:部分节点异常是否影响消息发送?请求重试是否会阻塞业务调用?请求重试会带来什么不足?消息流控 云消息队列 RocketMQ 版 的流控机制主要为您解答...

队列(MessageQueue)

如果您在代码中自定义拼接队列名称并和其他操作进行绑定,一旦服务端版本升级,可能会出现队列名称无法解析的兼容性问题。使用建议 按照实际业务消耗设置队列数 云消息队列 RocketMQ 版 的应遵循少用够用原则,避免随意增加队列数量。主题...

查看实例风险

云消息队列 Kafka 版 实例的实时诊断功能能够定期对实例进行检测,支持查看诊断发现的问题、提供修复建议,并将异常的检查项上报告警给相关联系人。实现方案 报警通知说明 仅紧急且不健康的报警会发送报警通知。如果未添加报警联系人,则...

Filebeat发送失败问题

问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面,您已成功创建Topic,但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

应用场景

解决这些问题,可在应用和下游通知系统之间加入 云消息队列 RocketMQ 版。秒杀处理流程如下所述:用户发起海量秒杀请求到秒杀业务处理系统。秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知...

什么是云消息队列 Confluent 版?

本文介绍 云消息队列 Confluent 版 的定义。什么是Confluent Platform Confluent Platform是一个全面的数据流企业级平台,使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent由Apache Kafka的原始创建者构建,通过企业级...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 RocketMQ 版 云消息队列 Kafka 版 商标服务 Web应用防火墙 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用