EMR-3.4.0及后续版本支持Kafka服务。

创建Kafka集群

在E-MapReduce控制台，创建Kafka集群，详情请参见创建集群。

本地盘Kafka集群

本地盘详情信息请参见本地盘机型支持。

当在本地盘上部署Kafka服务时，您需要在E-MapReduce控制台的配置页面，配置如下参数。
配置项 描述
default.replication.factor 固定值为3，表示Topic的副本数为3。
min.insync.replicas 固定值为2，表示副本数大于等于2。

当Producer设定request.required.acks为all或-1，且写入副本数大于等于2时，数据写入才能成功。

参数说明

您可以在E-MapReduce控制台的配置页面，查看Kafka的服务配置。
配置项 描述
zookeeper.connect Kafka集群Zookeeper的连接地址。
kafka.heap.opts Kafka Broker的堆内存大小。
num.io.threads Kafka Broker的IO线程数，默认为主节点CPU核数的2倍。
num.network.threads Kafka Broker的网络线程数，默认为主节点的CPU核数。