全部产品
E-MapReduce

Kafka 使用说明

更新时间:2017-08-18 14:01:17   分享:   

从EMR-3.4.0版本开始将支持Kafka服务。

创建Kafka集群

在E-MapReduce控制台创建集群时,选择集群类型为Kafka,则会创建一个默认只包含Kafka组件的集群,除了基础组件外包括Zookeeper,Kafka和KafkaManager三个组件。每个节点将只部署一个Kafka broker。我们建议您的Kafka集群是一个专用集群,不要和Hadoop相关服务混部在一起。

跨集群访问Kakfa

通常,我们会单独部署一个Kafka集群来提供服务,所以经常需要跨集群访问Kafka服务。这时,我们需要在机器上配置Kafka集群节点的host信息。注意,这里我们需要在client端机器配置Kafka集群节点的长域名,否则会出现访问不到Kafka服务的问题。示例如下:

  1. etc/hosts
  2. # kafka cluster
  3. 10.0.1.23 emr-header-1.cluster-48742
  4. 10.0.1.24 emr-worker-1.cluster-48742
  5. 10.0.1.25 emr-worker-2.cluster-48742
  6. 10.0.1.26 emr-worker-3.cluster-48742

参数说明

您可以在E-MapReduce的集群配置管理中查看Kafka的软件配置,当前主要有:

配置项 说明
zookeeper.connect Kafka配置的Zookeeper连接地址
kafka.heap.opts Kafka broker的堆内存大小
num.io.threads Kafka broker的IO线程数,默认为机器CPU核数目的2倍
num.network.threads Kafka broker的网络线程数,默认为机器的CPU核数目
本文导读目录
本文导读目录
以上内容是否对您有帮助?