EMR Kafka配置说明

本文为您介绍E-MapReduce(简称EMR)中Kafka集群操作系统环境变量和配置项。

操作系统环境变量

EMR Kafka集群的ECS实例操作系统用户为kafka,用户组为group,您可以登录ECS实例执行各类操作。

EMR Kafka预置了以下Shell终端环境变量。

变量名

说明

KAFKA_ROOT

Kafka服务安装的根目录。

KAFKA_HOME

Kafka Broker软件安装目录。

LOG_DIR_ROOT

EMR集群服务日志根目录。

KAFKA_ZOOKEEPER

EMR Kafka ZooKeeper访问路径。

例如,master-1-1.c-0e6a8cxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:2181/emr-kafka。

KAFKA_CONF_DIR

Kafka Broker配置文件目录。

EMR Kafka配置项

配置项

说明

kafka_opts

Kafka启动命令KAFKA_OPTS的参数值。

kafka.heap.opts

Kafka broker服务进程堆大小。该参数支持节点级别设置,默认值会根据创建集群时节点资源动态设置。

kafka_server_start_cmd_addition_args

Kafka启动命令附加参数。例如,您可以通过此配置设置额外的CLASSPATH。

kafka.ssl.config.type

SSL配置方式。取值如下:

  • NO_SSL(默认值):不启用SSL。

  • DEFAULT:使用默认证书启用SSL。

  • CUSTOM:自定义SSL配置。

kafka.sasl.config.type

SASL配置方式。取值如下:

  • NO_SASL(默认值):不启用SASL。

  • DEFAULT:使用默认Kerberos启用SASL。

  • CUSTOM:自定义SASL配置。

kafka.server.jaas.content

Kafka Server jaas文件内容,用于启动Kafka Broker服务。

kafka.client.jaas.content

Kafka Server jaas文件内容,用于启动Schema Registry等组件。

kafka.config.expert.model

是否使用专家配置模式。取值如下:

  • false(默认值):非专家配置模式。SSL、SASL等相关配置项会根据环境自动关联。

  • true:专家配置模式。您可以在EMR控制台手动配置SSL、SASL等相关配置项。

kafka.cruisecontrol.metric.reporter.enable

是否启用Cruise Control Reporter采集metrics。取值如下:

  • false(默认值):不启用Cruise Control Reporter采集metrics。

  • true:启用Cruise Control Reporter采集metrics。

kafka.connect.heap.opts

Kafka Connect服务进程堆大小。默认值为-Xmx2G -Xms2G。