云消息队列 Kafka 版 系统架构 如 云消息队列 Kafka 版的系统架构 所示,一个 云消息队列 Kafka 版 集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版 的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...
本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到 云消息队列 Kafka 版 集群。前提条件 您已完成以下操作:下载迁移工具MirrorMaker 迁移Topic上云 背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...
2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据,需要升级来支持监控告警功能。在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据,因此需要升级...
云消息队列 Kafka 版 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案,请参见 云消息队列 Kafka 版服务等级协议。
云消息队列 Kafka 版 提供全托管、免运维的迁移上云服务,用于自建实例或跨云云实例与 云消息队列 Kafka 版 实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件 您已购买并部署 云消息队列...
根据计费方式的特点,云消息队列 Kafka 版 资源支持的退款情况如下:包年包月的 云消息队列 Kafka 版 资源如需退款,可在控制台上退订实例。详细信息,请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用,...
迁移自建Kafka集群元数据至已有实例 迁移自建Kafka集群元数据至新实例 迁移Topic上云 迁移Group上云 MirrorMaker 您可以使用该工具将源自建Kafka集群中的数据镜像拷贝到目标 云消息队列 Kafka 版 集群。迁移数据上云 迁移操作流程 流程说明...
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版?产品计费
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同,快速入门的操作流程有所不同,详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
云消息队列 Kafka 版 的Connector组件处于公测阶段,且独立于 云消息队列 Kafka 版 实例,因此不会在 云消息队列 Kafka 版 侧产生费用。同时阿里云不承诺Connector的SLA,Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。
详细信息 客户端首次接入云消息队列 Kafka 版时如果出现异常,您可以通过以下三个方面进行排查:网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接云消息队列 Kafka 版的服务端。ECS实例(客户端)与云消息队列 Kafka ...
欠费影响 如果您购买的为包年包月实例,实例到期后,您账户下的 云消息队列 Kafka 版 服务会切换为 已过期 状态,即您将不能再继续使用 云消息队列 Kafka 版 服务。如果您购买的为按量计费实例 或弹性按量计费实例,当您的账户余额不足以...
迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 位点迁移 重要 目前不支持将自建Kafka集群的位点迁移到 云消息队列 Kafka 版。操作步骤 重要 云消息队列 Kafka...
正式商用细则 云消息队列 Kafka 版 的正式商用细则如下:为提高服务质量和用户体验,云消息队列 Kafka 版 全部以商用实例方式提供服务。实例的基本规格和定价信息请参见 计费概述。如果您有共享服务需求,可考虑阿里云 消息队列RocketMQ 或...
云消息队列 Kafka 版 服务端支持收发压缩消息。如需使用压缩消息,您需要在 云消息队列 Kafka 版 的客户端进行设置。在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下:压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的...
问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...
开源版本为2.2.0或以上的 云消息队列 Kafka 版 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见 升级大版本。
网络类型为公网/VPC的 云消息队列 Kafka 版 实例支持通过公网访问。云消息队列 Kafka 版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...
Topic引流 云消息队列 Kafka 版 集群横向扩容完成后,使Topic流量重新均匀分布到扩容后的集群上的行为。更多信息,请参见 Topic引流。分区 云消息队列 Kafka 版 中的分区数是指一个主题(Topic)被划分为的子数据集的数量。每个分区都是...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务,将指定 云消息队列 Kafka 版 实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见...
前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例:购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上,Kafka集群各个节点从ZooKeeper中...
概述 暂不支持通过代理访问云消息队列 Kafka 版实例,具体请查看 详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...
本文汇总了 云消息队列 Kafka 版 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;需要链路加密和消息鉴权,建议使用SSL...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 实例...
本文介绍 云消息队列 Kafka 版 的SDK和API及Terraform的支持情况,供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform
问题现象 您已启动某个Group的消费线程,但在 云消息队列 Kafka 版 控制台 的 Topic 详情 页面的 订阅关系 页签,查不到Topic被Group订阅的信息,或者在 Group 详情 页面的 消费状态 页签,查不到该Group订阅的Topic信息。可能原因 客户端...
如果仅需要在VPC网络接入 云消息队列 Kafka 版,您可以购买并部署VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息,请参见 步骤一:获取访问授权。已搭建VPC网络。具体操作,请参见 创建和管理专有网络...
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务,将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例:购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
本文介绍 云消息队列 Kafka 版 发布者的最佳实践,帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端,其基本概念与思想是相通的,但实现细节可能存在差异。发送消息 发送消息的示例代码如下:Future...
在使用云消息队列 Kafka 版时,客户端可能报错,您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)...
实时计算:通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版 的消息,写入到云HBase中对外提供在线查询。实时存储与检索:云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储,以及在线查询检索。批处理、数仓及算法:在线...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...
如果您首次使用 云消息队列 Kafka 版,您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo,并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
元数据迁移是指将自建Kafka集群的元数据迁移到阿里云 云消息队列 Kafka 版 实例。您可以将自建Kafka集群元数据导出,然后导入 云消息队列 Kafka 版 实例,云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中...
本文主要介绍 云消息队列 Kafka 版 订阅者的最佳实践,帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为:Poll数据→执行消费逻辑→再次Poll数据,详情参见下图。负载均衡 每个 ...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将某个 云消息队列 Kafka 版 实例的 Group 迁移到另一个 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 重要 迁移不会删除源 云消息队列 ...
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。
AliyunKafkaFullAccess:管理 云消息队列 Kafka 版 的权限。AliyunFCFullAccess:管理 函数计算FC(Function Compute)的权限。AliyunEventBridgeFullAccess:管理 事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外,如...