设计思路 核心问题 运维场景下,故障处理的核心问题如下:服务出现异常如何预警并上报 出现异常问题如何快速定位 解决方案 云消息队列 RocketMQ 版 定义的Metrics、Tracing指标覆盖消息收发各阶段的状态信息、云消息队列 RocketMQ 版 服务...
云消息队列 RocketMQ 版 主要解决的单个业务域即同一个主题内不同消息子集的过滤问题,一般是基于同一业务下更具体的分类进行过滤匹配。如果是需要对不同业务域的消息进行拆分,建议使用不同主题处理不同业务域的消息。功能概述 消息过滤...
背景信息 了解消费者负载均衡策略,可以帮助您解决以下问题:消息消费处理的容灾策略:您可以根据消费者负载均衡策略,明确当局部节点出现故障时,消息如何进行消费重试和容灾切换。消息消费的顺序性机制:通过消费者负载均衡策略,您可以...
背景信息 了解生产者负载均衡策略,可以帮助您解决如下问题:消息发送的容灾策略:您可以根据生产者负载均衡策略,明确当局部节点出现故障时,消息发送如何进行容灾切换。消息发送的顺序性机制:通过生产者负载均衡策略,您可以进一步了解...
应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的消费完整性问题,是一种为业务兜底的策略,不应该被用作业务流程控制。以下场景建议使用消息重试 业务处理失败,且失败原因跟当前的消息内容相关,比如该...
云消息队列 RabbitMQ 版 是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品,能够兼容开源RabbitMQ客户端,与开源RabbitMQ相比,能够解决各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等...
消费客户端(Consumer)频繁出现Rebalance 心跳超时会引发Rebalance,可以通过参数调整、提高消费速度等方法解决。更多信息,请参见 为什么消费客户端频繁出现Rebalance?分区个数 分区个数主要影响的是消费者的并发数量。对于同一个Group...
因此,如何保证核心业务和多个下游业务的执行结果完全一致,是分布式事务需要解决的主要问题。以电商交易场景为例,用户支付订单这一核心操作的同时会涉及到下游物流发货、积分变更、购物车状态清空等多个子系统的变更。当前业务的处理分支...
Batch机制,云消息队列 Kafka 版 Producer端主要通过两个参数进行控制:batch.size:发往每个分区(Partition)的消息缓存量(消息内容的字节数之和,不是条数)。达到设置的数值时,就会触发一次网络请求,然后Producer客户端把消息批量发...
当消费客户端出现Rebalance时,您可以查看Rebalance的详情,包括Rebalance的时间、耗时、次数、原因以及...后续步骤 当客户端频繁出现Rebalance时,您可以参考以下文档解决此问题:使用云消息队列 Kafka 版时消费客户端频繁出现Rebalance。
云消息队列 RocketMQ 版 支持PushConsumer和SimpleConsumer这两种类型的消费者,本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...
使用云消息队列 Kafka 版时客户端的报错及解决方案 无法ping通云消息队列 Kafka 版的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法 使用云消息队列 Kafka 版时出现消息堆积 为什么消费客户...
问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...
解决方案 若出现消息堆积,可参考以下措施进行定位和处理。判断消息堆积在 云消息队列 RocketMQ 版 服务端还是客户端。查看客户端本地日志文件 ons.log,搜索是否出现如下信息:the cached message count exceeds the threshold 出现相关...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:客户端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。客户端网络对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被您的防火墙...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:终端或云端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。终端或云端网络侧对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被...
在以下使用情况中出现的问题 云消息队列 MQTT 版 产品方概不负责:终端或云端不使用域名接入而是使用IP地址接入,产品方更新了域名解析导致原有IP地址失效。终端或云端网络侧对IP地址设置网络防火墙策略,产品方更新了域名解析后新IP地址被...
报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)失败 说明 该报错仅出现在 云消息队列 Kafka 版 的公网实例中。确保servers配置正确。通过 telnet 命令排除网络问题。如果网络...
与传统架构不同,云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现,就是为了更好地解决这类数据在处理过程中遇到的问题,数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理,并根据业务需求进行计算分析...
解决的问题 通过 云消息队列 Kafka 版 和实时计算Flink实现实时数据处理和数据流。通过 云消息队列 Kafka 版 和实时计算Flink实现实时数据分析。通过 云消息队列 Kafka 版 和实时计算Flink实现事件触发。部署架构图 选用的产品 云消息队列 ...
当使用接入点连接Kafka连接不通或连接超时(Connection timed out),请检查您...相关文档 客户端首次接入时的常见问题,请参见 客户端首次接入云消息队列 Kafka 版时出现异常的排查方法。VPC实例可以通过 升级实例配置 升配为公网/VPC实例。
问题描述 使用阿里云消息队列Kafka版时,删除Group后,仍然收到消息堆积的告警信息,如何过滤某个Group的消费堆积告警。问题原因 发生消息堆积告警信息的原因如下:2.2.0以前的Kafka服务端版本,开源Kafka未提供删除Group和消费位点的Open...
问题现象 使用阿里云 云消息队列 Kafka 版 时,删除 Group 后,仍然收到消息堆积的告警信息。可能原因 发生消息堆积告警信息的原因如下:2.0.0以前的Kafka服务端版本,开源Kafka未提供删除 Group 和消费位点的OpenAPI,因此删除 Group,...
云消息队列 RocketMQ 版 联合 阿里云云监控 提供了开箱即用且免费的监控报警服务,可帮助您解决如下问题:实例规格水位监控预警 若您实际使用的指标值超过实例的规格限制,云消息队列 RocketMQ 版 会进行强制限流。提前配置实例规格水位告...
通过了解 云消息队列 RocketMQ 版 的消费进度管理机制,可以帮助您解答以下问题:消费者启动后从哪里开始消费消息?消费者每次消费成功后如何标记消息状态,确保下次不会再重复处理该消息?某消息被指定消费者消费过一次后,如果业务出现...
本文为您介绍 云消息队列 RocketMQ 版 中消息的存储机制,包括消息的存储粒度、判断依据及后续处理策略等。背景信息 参考 云消息队列 RocketMQ 版 中 队列 的定义,消息按照达到服务器的先后顺序被存储到队列中,理论上每个队列都支持无限...
有消息堆积就一定是出现问题了吗?不一定。一般分为以下三种情况:最近消费时间与当前时间接近,并且堆积量保持在一个稳定的数值之间波动,没有持续扩大。说明客户端一直在拉取最新消息,没有消息堆积,属于正常情况。堆积量逐步扩大,并且...
在分布式应用系统中,多个服务间的交互涉及复杂的网络通信和数据传输,往往一次请求需要多个内部服务间的相互调用才能完成,任何一个环节出现问题都可能导致外部服务任务执行失败或延时,且很难快速定位问题根源。链路追踪功能可在多个服务...
问题现象 使用 云消息队列 Kafka 版 时,消费客户端频繁出现Rebalance。可能原因 可能导致故障的原因包括:v0.10.2之前版本的客户端:Consumer没有独立线程维持心跳,而是把心跳维持与poll接口耦合在一起。其结果就是,如果用户消费出现...
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中,经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因,帮助您可以在业务部署前更好的规划资源和配置,或...
背景信息 消息发送重试 云消息队列 RocketMQ 版 的消息发送重试机制主要为您解答如下问题:部分节点异常是否影响消息发送?请求重试是否会阻塞业务调用?请求重试会带来什么不足?消息流控 云消息队列 RocketMQ 版 的流控机制主要为您解答...
如果您在代码中自定义拼接队列名称并和其他操作进行绑定,一旦服务端版本升级,可能会出现队列名称无法解析的兼容性问题。使用建议 按照实际业务消耗设置队列数 云消息队列 RocketMQ 版 的应遵循少用够用原则,避免随意增加队列数量。主题...
云消息队列 Kafka 版 实例的实时诊断功能能够定期对实例进行检测,支持查看诊断发现的问题、提供修复建议,并将异常的检查项上报告警给相关联系人。实现方案 报警通知说明 仅紧急且不健康的报警会发送报警通知。如果未添加报警联系人,则...
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面,您已成功创建Topic,但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
为解决这些问题,可在应用和下游通知系统之间加入 云消息队列 RocketMQ 版。秒杀处理流程如下所述:用户发起海量秒杀请求到秒杀业务处理系统。秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知...
本文介绍 云消息队列 Confluent 版 的定义。什么是Confluent Platform Confluent Platform是一个全面的数据流企业级平台,使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent由Apache Kafka的原始创建者构建,通过企业级...