EMR-3.4.0及后续版本支持Kafka服务。
创建Kafka集群
如果需要新建包含Kafka的集群,请登录E-MapReduce新版控制台创建DataFlow类型集群,创建集群详情请参见创建DataFlow Kafka集群。
本地盘Kafka集群
当在本地盘上部署Kafka服务时,您需要在E-MapReduce控制台的配置页面,配置如下参数。
配置项 | 描述 |
---|---|
default.replication.factor | 固定值为3,表示Topic的副本数为3。 |
min.insync.replicas | 固定值为2,表示副本数大于等于2。
当Producer设定request.required.acks为all或-1,且写入副本数大于等于2时,数据写入才能成功。 |
参数说明
您可以在E-MapReduce控制台的配置页面,查看Kafka的服务配置。
配置项 | 描述 |
---|---|
zookeeper.connect | Kafka集群Zookeeper的连接地址。 |
kafka.heap.opts | Kafka Broker的堆内存大小。 |
num.io.threads | Kafka Broker的IO线程数,默认为主节点CPU核数的2倍。 |
num.network.threads | Kafka Broker的网络线程数,默认为主节点的CPU核数。 |