云消息队列 Kafka 版 的发布/订阅模型 如 云消息队列 Kafka 版的发布/订阅模型 所示,云消息队列 Kafka 版 采用发布/订阅模型。图 2.云消息队列 Kafka 版 的发布/订阅模型 Group 和Topic的对应关系是N:N,即一个 Group 可以同时订阅多个...
背景信息 企业A购买了 云消息队列 Kafka 版,企业A希望用户A只能从 云消息队列 Kafka 版 的所有Topic中消费消息,而不能向 云消息队列 Kafka 版 的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户,默认SASL用户仅...
云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版 针对开源的Apache Kafka提供全托管服务,解决开源产品的痛点。有了 云...
云消息队列 Kafka 版 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案,请参见 云消息队列 Kafka 版服务等级协议。
使用说明 云消息队列 Kafka 版 提供的规格评估功能将根据您输入的自建Kafka集群的信息,如集群流量情况、磁盘容量和类型、分区数量等,来为您评估并推荐需要的 云消息队列 Kafka 版 实例规格,帮助您提前根据推荐部署 云消息队列 Kafka 版 ...
根据计费方式的特点,云消息队列 Kafka 版 资源支持的退款情况如下:包年包月的 云消息队列 Kafka 版 资源如需退款,可在控制台上退订实例。详细信息,请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用,...
操作步骤 重要 云消息队列 Kafka 版 不支持数据迁移和位点迁移信息上报,即如果您已经开始数据迁移或位点迁移,您目前无法在 云消息队列 Kafka 版 控制台查看迁移进度。登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域,...
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同,快速入门的操作流程有所不同,详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
云消息队列 Kafka 版 提供全托管免运维服务,您无需登录机器。云消息队列 Kafka 版 是全托管的,由 云消息队列 Kafka 版 专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版?产品计费
云消息队列 Kafka 版 100%兼容开源,支持0.10.x~2.6.x的开源版本,无需代码改造无缝迁移上云,体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源,使您无缝迁移上云。兼容开源:云消息队列 Kafka 版 100...
如果您首次使用 云消息队列 Kafka 版,您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
详细信息 客户端首次接入云消息队列 Kafka 版时如果出现异常,您可以通过以下三个方面进行排查:网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接云消息队列 Kafka 版的服务端。ECS实例(客户端)与云消息队列 Kafka ...
如需使用SDK接入 云消息队列 Kafka 版 收发消息,您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版 控制台查看接入点。背景信息 云消息队列 Kafka 版 提供以下类型的接入点:默认接入点:适用于在VPC环境...
开通 云消息队列 Kafka 版 服务需要使用阿里云其他云产品中的资源,因此,您需要先授权 云消息队列 Kafka 版 访问您所拥有的其他阿里云资源。前提条件 注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号。背景信息 为了方便您快速...
本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...
如果过期后168小时依然欠费,云消息队列 Kafka 版 实例将被释放,实例释放后数据不可恢复,即您不能再使用 云消息队列 Kafka 版 服务。如果需要提前释放实例,可在控制台上强制删除,更多信息,请参见 实例生命周期管理。为避免服务停止...
您可以在 云消息队列 Kafka 版 控制台创建实例、进行消息收发。云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成 迁移 权限管理 云消息队列 Confluent 版 集群资源规格评估 实例管理 权限管理 ...
云消息队列 Kafka 版 的Connector组件处于公测阶段,且独立于 云消息队列 Kafka 版 实例,因此不会在 云消息队列 Kafka 版 侧产生费用。同时阿里云不承诺Connector的SLA,Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。
通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至 云消息队列 Kafka 版,扩展消息处理能力。前提条件 您已完成以下操作:自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 版 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...
源端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将某个 云消息队列 Kafka 版 实例的 Group 迁移到另一个 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 重要 迁移不会删除源 云消息队列 ...
详细信息 以非公网的方式访问云消息队列 Kafka 版实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 实例...
本文介绍如何创建使用SLS Sink Connector,您可通过SLS Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至日志服务SLS。前提条件 详细步骤,请参见 创建前提。步骤一:创建目标服务资源 创建日志项目(Project)。详细...
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK(Software Development Kit)即软件开发工具包,包含示例Demo、库文件、编译工具链以及编译脚本等,不需要开发者进行任何其他的配置,直接可以在SDK对应目录环境下,进行...
迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例 操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,...
云消息队列 Kafka 版 服务端支持收发压缩消息。如需使用压缩消息,您需要在 云消息队列 Kafka 版 的客户端进行设置。在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下:压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的...
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务,将指定 云消息队列 Kafka 版 实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请参见...
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务,将指定 云消息队列 Kafka 版 实例中的数据快速导入至另外的 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。具体步骤,请...
问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...
本文介绍如何创建使用OSS Sink Connector,您可以通过OSS Sink Connector将数据从 云消息队列 Kafka 版 的数据源Topic导出至对象存储OSS的Object中。前提条件 详细步骤,请参见 创建前提。步骤一:创建目标服务资源 在对象存储OSS控制台...
本文介绍如何将 云消息队列 Kafka 版 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...
网络类型为公网/VPC的 云消息队列 Kafka 版 实例支持通过公网访问。云消息队列 Kafka 版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...
如需使用客户端连接 云消息队列 Kafka 版 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...
云消息队列 Kafka 版 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 版 对此进行了优化,单个集群的分区数理论上没有上限。但...
六分钟上手 云消息队列 Kafka 版。文档教程 快速入门
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。