队列方式入库保存数据库-队列方式入库保存数据库文档介绍内容-阿里云

从自建MySQL同步至云消息队列 Kafka 版

注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...

消息收发常见问题

问题现象：使用数据流入规格将云消息队列 RocketMQ 版的数据流入至云消息队列 MQTT 版时，通过mqttSecondTopic属性设置了云消息队列 MQTT 版的子级Topic，消息发送后，子级Topic后会多一个“/”。可能原因：服务端会对Topic名称进行...

队列（MessageQueue）

队列的主要作用如下：存储顺序性队列天然具备顺序性，即消息按照进入队列的顺序写入存储，同一队列间的消息天然存在顺序关系，队列头部为最早写入的消息，队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点（Offset...

计费常见问题

若您使用云消息队列 MQTT 版的数据流入、数据流出规则和云消息队列 RocketMQ 版进行通信，云消息队列 RocketMQ 版会根据调用的云消息队列 RocketMQ 版的消息收发API或Topic资源等进行计费。客户端上线下事件流出到消息队列RocketMQ...

数据流出规则管理

如需将云消息队列 MQTT 版的数据导出至其他阿里云产品，您需创建数据流出规则。该规则用于将MQTT客户端发送的消息导出到您配置的其他阿里云产品中，从而实现直接调用云产品的API读取MQTT客户端发送的消息。流程说明规则限制限制项限制...

实例使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x后，不再需要与云消息队列 RocketMQ 版的实例进行绑定。本文介绍两个版本之间的控制台实例相关操作的具体差异，并提供控制台截图进行对比。变更说明由于V3.x.x版本的云消息队列 MQTT 版实现了...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

V2.x.x到V3.x.x的升级公告

V3.x.x版本除了独立存储之外，还对V2.x.x版本实现的云消息队列 MQTT 版和云消息队列 RocketMQ 版互通的功能进行抽象，使得云消息队列 MQTT 版的数据可以根据您配置相应规则转发到其他阿里云产品，也可以配置规则从其他阿里云产品导入...

数据流入规则管理

如需将其他阿里云产品的数据导入云消息队列 MQTT 版，您需创建数据流入规则。该规则用于从您配置的阿里云产品中读取数据并将数据通过MQTT协议推送到MQTT客户端，从而实现直接调用阿里云产品的API发送数据到MQTT客户端。流程说明规则限制 ...

创建AnalyticDB Sink Connector

本文以AnalyticDB PostgreSQL版为例，创建数据库名为abd_sink_database和数据表名为abd_sink_table的资源。步骤二：创建AnalyticDB Sink Connector并启动登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在...

生态对接概述

阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步MySQL 容器服务Kubernetes版在Knative上实现Kafka...

CREATE QUEUE

RETENTION[DOUBLE PRECISION]说明 CREATE QUEUE 命令允许数据库超级用户或具有系统定义的 aq_administrator_role 特权的任何用户，在当前数据库中创建新队列。如果队列名称是 schema 限定的，则在指定的 schema 中创建队列。如果 CREATE ...

资源使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x实现了自身数据存储的能力，同时还去除了对云消息队列 RocketMQ 版的消息依赖，因此，云消息队列 MQTT 版的实例和Topic使用有变更。资源 V2.x.x使用说明 V3.x.x使用说明云消息队列 MQTT 版 ...

消息收发流程变更

云消息队列 MQTT 版 V2.x.x版本强依赖云消息队列 RocketMQ 版作为消息存储，因此云消息队列 MQTT 版消息和云消息队列 RocketMQ 版天然打通，创建了Topic后即可天然使用云消息队列 RocketMQ 版和云消息队列 MQTT 版的SDK相互通信...

跨云产品的数据流出

您可通过配置云消息队列 MQTT 版的数据流出规则来自定义数据从云消息队列 MQTT 版流出至其他阿里云产品。本文介绍数据流出的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云产品的资源映射关系。基本原理如需将云消息...

上下线通知规则管理

例如，创建数据流出规则，数据源云消息队列 MQTT 版实例属于华东1（杭州）地域，则数据目标云消息队列 RocketMQ 版只能选择华东1（杭州）地域的实例。云消息队列 MQTT 版实例版本仅内核版本为V3.x.x的实例支持使用规则，V2.x.x的实例...

直播互动解决方案

背景信息在直播互动的场景下，您需创建相应的数据互通规则实现云消息队列 MQTT 版与云消息队列 RocketMQ 版的数据互通，包含数据流入规则、数据流出规则以及客户端上下线通知规则。使用云消息队列 MQTT 版的客户端收发消息时，...

内容富化

如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至源消息体中，并发送至目标服务。内容映射根据正则表达式对消息内容进行映射处理。例如，屏蔽消息中敏感字段或将消息大小缩减至最小标准。本文以云消息...

应用场景

本文为您介绍云消息队列 RabbitMQ 版的应用场景，以便...分布式缓存同步大量并发访问数据库会导致页面响应时间长。通过云消息队列 RabbitMQ 版构建分布式缓存，支持实时通知数据变化，有效降低页面响应时间，满足对变更的大量访问需求。

设置全局YARN资源队列

在DataWorks中，您可通过如下方式配置调度节点运行时使用的YARN资源队列：方式一：配置全局YARN资源队列设置工作空间级别某DataWorks功能模块运行EMR任务时使用哪个YARN资源队列，并定义此处配置的 YARN资源队列优先级是否高于指定模块...

查看迁移进度

操作步骤重要云消息队列 Kafka 版不支持数据迁移和位点迁移信息上报，即如果您已经开始数据迁移或位点迁移，您目前无法在云消息队列 Kafka 版控制台查看迁移进度。登录云消息队列 Kafka 版控制台。在概览页面的资源分布区域，...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

canal.mq.partition 否 数据库数据同步到云消息队列 Kafka 版 Topic的指定分区。canal.mq.partitionsNum 否 Topic的分区数量。该参数与 canal.mq.partitionHash 一起使用，可以将数据同步至云消息队列 Kafka 版 Topic不同的分区。canal....

集成概述

目前已打通日志、数据库、消息中间件等多种场景的数据接入。数据清洗/数据流出 Connector生态集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据...

使用限制

本文为您介绍云消息队列 MQTT 版对某些具体指标的约束和规范，您在使用云消息队列 MQTT 版时请不要超过相应的限制值，以免程序出现异常。具体的限制项和限制值请参见下表。如果您购买了铂金版的云消息队列 MQTT 版实例，则可按需定制...

内容分割

如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至源消息体中，并发送至目标服务。内容映射根据正则表达式对消息内容进行映射处理。例如，屏蔽消息中敏感字段或将消息大小缩减至最小标准。本文以云消息...

JMS概述

云消息队列 RabbitMQ 版提供JMS库供JMS客户端接入云消息队列 RabbitMQ 版。本文介绍云消息队列 RabbitMQ 版 JMS库的相关概念、获取方式、使用限制和使用教程。背景信息 JMS是一种消息传递标准，允许基于Java EE（Java平台企业版）的应用...

内容映射

如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至源消息体中，并发送至目标服务。内容映射根据正则表达式对消息内容进行映射处理。例如，屏蔽消息中敏感字段或将消息大小缩减至最小标准。本文以云消息...

基本概念

本文介绍云消息队列 RocketMQ 版的基本概念，以便您更好地理解和使用云消息队列 RocketMQ 版。主题（Topic）云消息队列 RocketMQ 版中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。...

主题（Topic）

Transaction：事务消息，云消息队列 RocketMQ 版支持分布式事务消息，支持应用数据库更新和消息调用的事务一致性保障。约束：每个主题只支持一种消息类型。行为约束消息类型强制校验云消息队列 RocketMQ 版 5.x版本将消息类型拆分到主题...

消息（Message）

Transaction：事务消息，云消息队列 RocketMQ 版支持分布式事务消息，支持应用数据库更新和消息调用的事务一致性保障。消息队列定义：实际存储当前消息的队列。更多信息，请参见队列（MessageQueue）。取值：由服务端指定并填充。消息...

什么是云消息队列 Confluent 版？

本文介绍云消息队列 Confluent 版的定义。什么是Confluent Platform Confluent Platform是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent由Apache Kafka的原始创建者构建，通过企业级...

创建MNS Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将云消息队列 Kafka 版的数据导出至消息服务。前提条件您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您...

新零售电子价签解决方案（MQTT）

新零售电子价签解决方案由阿里云云消息队列 MQTT 版推出，通过MQTT以实现商场超市、公共场所电子标签、多媒体屏幕的数据更新管理。本文将以电子价签为例详细描述该解决方案的系统架构、数据流设计以及注意事项，其他类似行业可参考该方案...

常见问题

本文汇总了使用云消息队列 RocketMQ 版时的常见问题。产品功能常见问题云消息队列 RocketMQ 版5.0系列相比4.0系列实例有什么优势？云消息队列 RocketMQ 版5.0系列实例兼容哪些版本客户端？云消息队列 RocketMQ 版支持哪些语言客户端？云...

常见问题

本文汇总了使用云消息队列 RocketMQ 版时的常见问题。产品功能常见问题消息队列RocketMQ版5.x系列相比4.x系列实例有什么优势？消息队列RocketMQ版5.x系列实例兼容哪些版本客户端？消息队列RocketMQ版支持哪些语言客户端？消息队列...

开源对比

Group 创建方式云消息队列 Kafka 版控制台云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）服务端自动创建云消息队列 Kafka 版默认通过阿里云控制台和OpenAPI管理 Group 数据，以实现细粒度的权限管控、资源操作审计、订阅...

动态路由

如果消息原始内容包含AccountID，处理时根据AccountID查询数据库，获得客户地域后填至源消息体中，并发送至目标服务。内容映射根据正则表达式对消息内容进行映射处理。例如，屏蔽消息中敏感字段或将消息大小缩减至最小标准。本文以云消息...

在线教育视频直播

表格存储表格存储（Tablestore）是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库，被广泛用于社交、物联网、人工智能、元数据和大数据等业务场景。提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

概述本文主要介绍客户端首次接入云消息队列 Kafka 版时，出现异常的排查方法。详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端...

使用Canal和RocketMQ实现数据库变更订阅处理

本文以MySQL数据库为例介绍如何使用Canal接入云消息队列 RocketMQ 版，实现MySQL数据库Binlog数据的变更处理。背景信息 CDC（Change Data Capture）是一种监测并捕获数据库变更的典型技术方案，常应用于异构数据源之间的数据同步。Canal...

队列方式入库保存数据库

新品推荐