产品功能

消息队列分布式事务 在多次调用消息系统的场景中,通过 GTS,应用可轻松具备消息事务的处理能力。混合的分布式事务 GTS 可将各个资源加入事务范畴,实现同时跨服务、数据库、跨消息系统的事务处理能力。多种事务模式 提供了标准事务模式、...

Windows系统实例的宕机问题排查

当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM(Out Of Memory)、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时,说明该ECS实例发生宕机,您可以通过自助诊断工具或系统事件来定位原因并解决。...

推送记录

来源系统 推送的告警消息的来源。来源系统 包括:数据质量 离线计算 实时计算 数据服务 推送渠道 告警消息以什么样的方式推送给您。推送渠道 包括:电话 短信 邮件 钉钉 推送接收人 推送的告警消息的接收人。推送时间 推送的告警消息的时间...

应用场景

(最终支付中心与下游系统数据一致)下游系统接收消息队列的支付成功的消息。下游系统处理相关业务逻辑。(最终支付中心与下游系统数据一致)分布式事务消息的更多详细内容请参见 消息类型。削峰填谷 流量削峰也是消息队列的常用场景,一般...

常见问题

迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据,出现内存报错或OOM挂掉?如何处理导入数据报错:too many parts?为什么DataX导入速度慢?为什么Hive导入后其数据行数跟ClickHouse对不上?为什么Kafka导入后其数据行数跟...

消息超时和重试机制

本文介绍 云消息队列 RabbitMQ 版 服务端默认的消息重试机制,帮助您理解消费失败后的消息处理逻辑,并选择合适的消息处理策略。重试机制 云消息队列 RabbitMQ 版 服务端有默认的消息重试机制,不支持您在Consumer客户端重新配置消息重试...

仪表盘

20_ms le_50_ms le_200_ms le_500_ms le_overflow uid instance_id topic client_id invocation_status 消费者Metrics指标 Metrics类型 Metrics name 单位 指标说明 Label Histogram rocketmq_process_time ms PushConsumer的消息处理耗时...

队列使用手册

并且在消息处理过程中,也可以调用changeMessageVisibility这个函数来延长消息的VisibilityTimeout时间。Console.WriteLine("DeleteMessage Failed!ErrorCode:"+me.ErrorCode);} catch(Exception ex){ Console.WriteLine("Delete message ...

仪表盘

堆积消息量(已就绪消息+处理中消息)top20 GroupIDs 统计堆积的消息量最多的前20个Group。单位:条。处理中消息量 top20 GroupIDs 统计处理中的消息量最多的前20个Group。单位:条。消费处理耗时 top20 GroupIDs 统计消费处理耗时最长的前...

内容分割

背景信息 数据清洗功能提供常见的消息处理模板,包括内容分割、动态路由、内容富化和内容映射等。您可以直接利用模板处理消息,也可以根据业务情况在模板基础上修改代码。消息数据清洗任务提供基本的算子能力,底层逻辑使用函数计算。支持...

消息数、活跃消息数、延迟消息数分别表示哪些消息

本文介绍控制台上的消息数、活跃消息数、延迟消息数分别表示哪些类型的消息。各消息数的概念如下:消息数:成功发送的和没有发送的所有消息数。活跃消息数:未经处理的消息数。延迟消息数:设置了延迟时间的消息数。

内容映射

背景信息 数据清洗功能提供常见的消息处理模板,包括内容分割、动态路由、内容富化和内容映射等。您可以直接利用模板处理消息,也可以根据业务情况在模板基础上修改代码。消息数据清洗任务提供基本的算子能力,底层逻辑使用函数计算。支持...

动态路由

背景信息 数据清洗功能提供常见的消息处理模板,包括内容分割、动态路由、内容富化和内容映射等。您可以直接利用模板处理消息,也可以根据业务情况在模板基础上修改代码。消息数据清洗任务提供基本的算子能力,底层逻辑使用函数计算。支持...

构建基于Serverless架构的弹性高可用音视频处理系统

在音视频系统中,音视频转码是比较消耗计算力的一个子系统,您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...

订阅消息

class ExampleMessageListener:public MessageListener { public:Action consume(Message&message,ConsumeContext&context){/此处为具体的消息处理过程,确认消息被处理成功请返回CommitMessage。如果有消费异常,或者期望重新消费,可以...

使用函数计算实现消息数据清洗

消息数据清洗功能提供常见的消息处理模板,如消息分割、动态路由和消息富化等。您可以直接利用模板处理消息,也可以根据业务情况在模板基础上修改代码。本文介绍 云消息队列 RocketMQ 版 消息数据清洗模板的类型和使用方式。背景信息 消息...

消息队列

任务A作为生产者循环向消息队列发送消息,任务B作为消费者循环从消息队列接收消息,一般情况下,消费者处理数据是要花费很长时间,所以会导致消息产生的速度大于消息处理的速度,使得消息队列溢出。所以可以通过调整任务B优先级大于任务A来...

使用函数计算实现消息数据清洗

消息数据清洗功能提供常见的消息处理模板,如消息分割、动态路由和消息富化等。您可以直接利用模板处理消息,也可以根据业务情况在模板基础上修改代码。本文介绍 云消息队列 RocketMQ 版 消息数据清洗模板的类型和使用方式。背景信息 消息...

欠费说明

消息服务MNS 处于欠费状态...当您的账户余额不足以支付账单金额,消息服务MNS 处于欠费状态超过7天,阿里云将停止 消息服务MNS 的服务,即您不能再访问API,未处理的消息数据将按队列设置的消息过期时间自动过期释放,被释放的数据不可恢复。

系统防护

系统防护即从整体维度对应用入口流量进行控制,结合应用的Load、总体平均RT、入口QPS和线程数等几个维度的监控指标,让系统的入口流量和系统的负载达到一个平衡,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。背景信息 长期以来...

消息发送重试和流控机制

本文为您介绍 云消息队列 RocketMQ 版 的消息发送重试机制和消息流控机制。背景信息 消息发送重试 云消息队列 RocketMQ 版 的消息发送重试机制主要为您解答如下问题:部分节点异常是否影响消息发送?请求重试是否会阻塞业务调用?请求重试...

Dashboard

{tenant_userid,instanceId,vHost,queueName} Consumer Metrics Type Metrics Name 单位 指标说明 Label gauge rabbitmq_consumer_acked_process_time_avg count 返回响应结果的消息的平均处理耗时。{tenant_userid,instanceId,vHost,...

示例代码

class ExampleMessageListener:public MessageListener { public:Action consume(Message&message,ConsumeContext&context){/此处为具体的消息处理过程,确认消息被处理成功请返回CommitMessage。如果有消费异常,或者期望重新消费,可以...

接口和参数说明

该参数表示当TCP连接关闭时,消费者还可以继续处理消息的时间。消息发送接口 接口名称:sendMessage 类名称:com.alibaba.mqtt.server.ServerProducer 表 1.消息发送参数 参数 说明 mqttTopic 云消息队列 MQTT 版 的Topic,包括父级Topic和...

捷旅假期

因此捷旅平台期望具备以下优势,缓解并发处理消息的压力。并发处理能力:同时处理超过10万条的峰值消息。弹缩处理能力:根据消息量的多少进行自动化毫秒级的扩缩容操作,使用成本按所需的实际资源付费。支持多种触发方式:支持对象存储服务...

捷旅假期

因此捷旅平台期望具备以下优势,缓解并发处理消息的压力。并发处理能力:同时处理超过10万条的峰值消息。弹缩处理能力:根据消息量的多少进行自动化毫秒级的扩缩容操作,使用成本按所需的实际资源付费。支持多种触发方式:支持对象存储服务...

消息服务MNS中HttpEndpoint接口接收不到消息时的排查...

使用该工具可分别针对鉴权逻辑以及处理消息的逻辑进行调试。如果通过该工具确认HttpEndpoint接口可以正常接收推送请求,但仍然无法接收线上服务的推送消息,可通过日志查看消息服务的推送过程以及结果。关于如何查看日志,请参见 日志管理...

升级Broker可能产生哪些影响?

此外,升级和重启Broker期间,各个分区处理的消息量也会出现一定的不均衡,需要您评估一下升级变更对您业务可能产生的影响。升级所有Broker大概需要5分钟~15分钟。如果有多个实例,可以考虑先升级测试集群,验证通过后再升级生产集群。说明...

Exactly-Once投递语义

什么是Exactly-Once投递语义 Exactly-Once是指发送到消息系统的消息只能被消费端处理且仅处理一次,即使生产端重试消息发送导致某消息重复投递,该消息在消费端也只被消费一次。Exactly-Once语义是消息系统和流式计算系统中消息流转的最...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

说明 kafka.batch.size 与 kafka.linger.ms 参数都是控制批量处理消息的条件,满足其中一个参数的条件,客户端就攒批完成,消息进入待发送状态。kafka.linger.ms 是 客户端数据块攒批的最大时长。单位:ms。客户端设定攒批消息的延迟时间,...

使用OpenAPI示例

说明 媒体处理系统权限策略如下:AliyunMTSFullAccess:管理媒体转码服务(MTS)的权限。AliyunMTSPlayerAuth:使用媒体转码服务(MTS)播放器的权限。关于如何创建自定义权限,请参见 授权信息。单击 确定,完成授权操作。凭证 在创建...

重置消费位点

您也可以将消费位置移动至最新位点,暂时不处理堆积的消息。前提条件 已停止所有Consumer客户端(云消息队列 Kafka 版 不支持在线重置消费位点)。重要 在停止Consumer客户端后,需要经过 ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG 配置的...

消息幂等

为了保证消息至少被消费一次,云消息队列 RabbitMQ 版 的服务端将在网络恢复后再次尝试投递之前已被处理的消息,Consumer后续会收到两条内容相同并且Message ID也相同的消息。负载均衡时消息重复(包括但不限于网络抖动、服务端重启以及...

Spring集成

spring.rabbitmq.listener.simple.transaction-size 事务处理的消息数量。spring.rabbitmq.listener.simple.default-requeue-rejected 被拒绝的消息是否重新进入队列,默认值为true。spring.rabbitmq.listener.simple.missing-queues-fatal...

消息过滤

使用 云消息队列 RocketMQ 版 的消息过滤功能,可以帮助消费者更高效地过滤自己需要的消息集合,避免大量无效消息投递给消费者,降低下游系统处理压力。云消息队列 RocketMQ 版 主要解决的单个业务域即同一个主题内不同消息子集的过滤问题...

如何优化高并发IM系统架构

新架构中自增操作是在表格存储系统内部处理的,就算多个应用服务器同时给表格存储中的同一个接收方写数据,表格存储内部也能保证这些消息是串行处理,每个消息都有一个独立的消息ID,且严格递增。使用主键列自增功能,就不再需要队列服务,...

什么是云消息队列 Confluent 版?

业务监控与告警:每个Consumer Group都可以针对消息的堆积量情况设置监控与告警,帮助您及时发现问题。OpenAPI:提供了一整套完备的管控类OpenAPI,用于实现一系列的资源管理和运维功能。开箱即用:提供的是完全托管的Confluent Platform...

应用场景

事务消息处理 此时,需要利用 云消息队列 RocketMQ 版 所提供的事务消息来实现系统间的状态数据一致性。流程说明如下:注册系统向 云消息队列 RocketMQ 版 发送半事务消息。1.1 半事务消息发送成功,进入2。1.2 半事务消息发送失败,注册...

消息存储和清理机制

本文为您介绍 云消息队列 RocketMQ 版 中消息的存储机制,包括消息的存储粒度、判断依据及后续处理策略等。背景信息 参考 云消息队列 RocketMQ 版 中 队列 的定义,消息按照达到服务器的先后顺序被存储到队列中,理论上每个队列都支持无限...

发布者最佳实践

默认情况下,云消息队列 Kafka 版 为了提升可用性,并不保证单个分区内绝对有序,在升级或者宕机时,会发生少量消息乱序(某个分区挂掉后把消息Failover到其它分区)。如果业务要求分区保证严格有序,请在创建Topic时选择使用Local存储。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 RocketMQ 版 云消息队列 Kafka 版 对象存储 负载均衡 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用