Kafka(仅对存量用户开放)

更新时间: 2025-03-03 14:58:28

本文为您介绍在阿里云E-MapReduce上创建及配置Kafka集群的方法与相关注意事项。

创建Kafka集群

如果需要新建包含Kafka的集群,请登录E-MapReduce新版控制台创建DataFlow类型集群,创建集群详情请参见创建DataFlow Kafka集群

说明

EMR-5.18.0及之后版本、EMR-3.52.0及之后版本将不再支持Kafka服务。建议使用阿里云的云消息队列 Kafka 版或自行进行安装。

本地盘Kafka集群

当在本地盘上部署Kafka服务时,您需要在E-MapReduce控制台的配置页面,配置如下参数。

配置项

描述

default.replication.factor

固定值为3,表示Topic的副本数为3。

min.insync.replicas

固定值为2,表示副本数大于等于2。

当Producer设定request.required.acks为all或-1,且写入副本数大于等于2时,数据写入才能成功。

参数说明

您可以在E-MapReduce控制台的配置页面,查看Kafka的服务配置。

配置项

描述

zookeeper.connect

Kafka集群Zookeeper的连接地址。

kafka.heap.opts

Kafka Broker的堆内存大小。

num.io.threads

Kafka Broker的IO线程数,默认为主节点CPU核数的2倍。

num.network.threads

Kafka Broker的网络线程数,默认为主节点的CPU核数。

上一篇: Paimon与Trino集成 下一篇: 基础使用
阿里云首页 开源大数据平台 E-MapReduce 相关技术圈