产品概述

本文介绍 云消息队列 Kafka 的产品动态、产品简介及产品计费。云消息队列 Kafka 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 产品计费

新功能发布记录

本文介绍 云消息队列 Kafka 产品功能动态及对应的文档。2024-03-12 功能名称 功能描述 功能类型 相关文档 V3.0 Serverless系列实例在华南1(深圳)地域开服 云消息队列 Kafka V3.0 Serverless系列实例支持在华南1(深圳)地域选购...

基于Flink的资讯场景实时数仓

部署架构图 选用的产品消息队列 Kafka 云消息队列 Kafka 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的...

什么是云消息队列 Kafka

产品优势 云消息队列 Kafka 针对开源的Apache Kafka提供全托管服务,解决开源产品的痛点。有了 云消息队列 Kafka ,您只需专注于业务开发,无需部署运维。相较于开源Apache Kafka,云消息队列 Kafka 成本更低、弹性更强、可靠性更...

产品架构

云消息队列 Kafka 系统架构 如 云消息队列 Kafka 的系统架构 所示,一个 云消息队列 Kafka 集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 的系统架构 Producer 通过push模式向 云消息队列 Kafka ...

云消息队列 Kafka 服务等级协议

云消息队列 Kafka 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 的服务可用性等级指标及赔偿方案,请参见 云消息队列 Kafka 服务等级协议。

开源对比

项目 云消息队列 Kafka Apache Kafka 差异原因 Topic 创建方式 云消息队列 Kafka 控制台 云消息队列 Kafka OpenAPI 服务端自动创建(默认不开启)Kafka CLI Kafka Manager 服务端自动创建 云消息队列 Kafka 默认通过阿里云控制...

评估规格

使用说明 云消息队列 Kafka 提供的规格评估功能将根据您输入的自建Kafka集群的信息,如集群流量情况、磁盘容量和类型、分区数量等,来为您评估并推荐需要的 云消息队列 Kafka 实例规格,帮助您提前根据推荐部署 云消息队列 Kafka ...

退款说明

根据计费方式的特点,云消息队列 Kafka 资源支持的退款情况如下:包年包月的 云消息队列 Kafka 资源如需退款,可在控制台上退订实例。详细信息,请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 资源在使用后才支付费用,...

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 。操作流程 根据网络类型不同,快速入门的操作流程有所不同,详情请参见 云消息队列 Kafka 快速入门操作流程。图 1.云消息队列 Kafka 快速入门操作流程 操作步骤 具体操作...

为什么不能登录部署云消息队列 Kafka 的机器?

云消息队列 Kafka 提供全托管免运维服务,您无需登录机器。云消息队列 Kafka 是全托管的,由 云消息队列 Kafka 专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

快速入门

如果您首次使用 云消息队列 Kafka ,您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 快速入门 云消息队列 Confluent 版快速入门

查看迁移进度

本文说明如何查看自建Kafka集群迁移到 云消息队列 Kafka 的进度。前提条件 您已开始自建Kafka集群迁移上云。迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例...

客户端首次接入云消息队列 Kafka 时出现异常的排查...

详细信息 客户端首次接入云消息队列 Kafka 时如果出现异常,您可以通过以下三个方面进行排查:网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接云消息队列 Kafka 的服务端。ECS实例(客户端)与云消息队列 Kafka ...

查看接入点

如需使用SDK接入 云消息队列 Kafka 收发消息,您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 控制台查看接入点。背景信息 云消息队列 Kafka 提供以下类型的接入点:默认接入点:适用于在VPC环境...

操作指南

您可以在 云消息队列 Kafka 控制台创建实例、进行消息收发。云消息队列 Kafka V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成 迁移 权限管理 云消息队列 Confluent 版 集群资源规格评估 实例管理 权限管理 ...

为什么需要升级实例来支持监控告警功能?

在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

常见问题

使用云消息队列 Kafka 时客户端的报错及解决方案 无法ping通云消息队列 Kafka 的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 时出现异常的排查方法 使用云消息队列 Kafka 时出现消息堆积 为什么消费客户...

欠费说明

欠费影响 如果您购买的为包年包月实例,实例到期后,您账户下的 云消息队列 Kafka 服务会切换为 已过期 状态,即您将不能再继续使用 云消息队列 Kafka 服务。如果您购买的为按量计费实例 或弹性按量计费实例,当您的账户余额不足以...

使用ACL功能进行访问控制

背景信息 企业A购买了 云消息队列 Kafka ,企业A希望用户A只能从 云消息队列 Kafka 的所有Topic中消费消息,而不能向 云消息队列 Kafka 的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户,默认SASL用户仅...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息 以非公网的方式访问云消息队列 Kafka 实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...

正式商用公告

正式商用细则 云消息队列 Kafka 的正式商用细则如下:为提高服务质量和用户体验,云消息队列 Kafka 全部以商用实例方式提供服务。实例的基本规格和定价信息请参见 计费概述。如果您有共享服务需求,可考虑阿里云 消息队列RocketMQ 或...

上迁移Group

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将某个 云消息队列 Kafka 实例的 Group 迁移到另一个 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 重要 迁移不会删除源 云消息队列 ...

默认配置映射关系

源端类型 模式 值 云消息队列 Kafka 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 实例...

SDK概述

本文介绍 云消息队列 Kafka SDK、支持的多语言SDK。SDK简介 SDK(Software Development Kit)即软件开发工具包,包含示例Demo、库文件、编译工具链以及编译脚本等,不需要开发者进行任何其他的配置,直接可以在SDK对应目录环境下,进行...

什么是云消息队列 Kafka

三分钟了解阿里云 云消息队列 Kafka

是否支持压缩消息

云消息队列 Kafka 服务端支持收发压缩消息。如需使用压缩消息,您需要在 云消息队列 Kafka 的客户端进行设置。在 云消息队列 Kafka 客户端进行消息压缩的说明如下:压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的...

控制台看到的最近消费时间是什么意思?

消息发布到 云消息队列 Kafka 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。

验证迁移结果

迁移成功后,目标 云消息队列 Kafka 实例下会创建对应的Topic和 Group。您可以在 Topic 管理 和 Group 管理 页面的列表中查看。前提条件 您已将自建Kafka集群迁移至 云消息队列 Kafka 实例中。迁移类型包括:通过命令行迁移 迁移...

为什么额外增加分区要收费?

云消息队列 Kafka 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 对此进行了优化,单个集群的分区数理论上没有上限。但...

通过元数据文件迁移上云

本文介绍如何在 云消息队列 Kafka 控制台创建迁移任务,将元数据迁移至 云消息队列 Kafka 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 实例:购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...

使用云消息队列 Kafka 时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 的控制台...

查看接入点

如需使用客户端连接 云消息队列 Kafka 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

使用限制

云消息队列 Kafka 对某些具体指标进行了约束和规范,您在使用 云消息队列 Kafka 时注意不要超过相应的限制值,以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况,不在SLA承诺和赔偿范围内。云消息队列 ...

是否支持Compact的日志清理策略?

开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见 升级大版本。

升级实例配置

本文介绍如何在 云消息队列 Kafka 控制台完成实例升配,升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...

为什么Group不存在但能消费消息

问题现象 我在 云消息队列 Kafka 控制台 上,未查看到对应的Group,但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息,那么即使不创建Group,也可能消费消息。如果客户端使用 subscribe 方式消费消息,...

迁移数据上云

云消息队列 Kafka 集群的SSL接入点(可在 云消息队列 Kafka 控制台获取)bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore(使用步骤1下载的文件)ssl.truststore.location=kafka.client....
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 Kafka 版 数字证书管理服务(原SSL证书) 开源大数据平台 E-MapReduce 共享流量包 商标服务 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用