EMR-3.4.0及后续版本支持Kafka服务。
创建Kafka集群
在E-MapReduce控制台,创建Kafka集群,详情请参见创建集群。
本地盘Kafka集群
本地盘详情信息请参见本地盘机型支持。
当在本地盘上部署Kafka服务时,您需要在E-MapReduce控制台的配置页面,配置如下参数。
配置项 | 描述 |
---|---|
default.replication.factor | 固定值为3,表示Topic的副本数为3。 |
min.insync.replicas | 固定值为2,表示副本数大于等于2。
当Producer设定request.required.acks为all或-1,且写入副本数大于等于2时,数据写入才能成功。 |
参数说明
您可以在E-MapReduce控制台的配置页面,查看Kafka的服务配置。
配置项 | 描述 |
---|---|
zookeeper.connect | Kafka集群Zookeeper的连接地址。 |
kafka.heap.opts | Kafka Broker的堆内存大小。 |
num.io.threads | Kafka Broker的IO线程数,默认为主节点CPU核数的2倍。 |
num.network.threads | Kafka Broker的网络线程数,默认为主节点的CPU核数。 |
在文档使用中是否遇到以下问题
更多建议
匿名提交