本文为您介绍E-MapReduce(简称EMR)中Kafka集群操作系统环境变量和配置项。

操作系统环境变量

EMR Kafka集群的ECS实例操作系统用户为kafka,用户组为group,您可以登录ECS实例执行各类操作。

EMR Kafka预置了以下Shell终端环境变量。

变量名 说明
KAFKA_ROOT Kafka服务安装的根目录。
KAFKA_HOME Kafka Broker软件安装目录。
LOG_DIR_ROOT EMR集群服务日志根目录。
KAFKA_ZOOKEEPER EMR Kafka ZooKeeper访问路径。

例如,master-1-1.c-0e6a8cxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:2181/emr-kafka。

KAFKA_CONF_DIR Kafka Broker配置文件目录。

EMR Kafka配置项

配置项 说明
kafka_opts Kafka启动命令KAFKA_OPTS的参数值。
kafka.heap.opts Kafka broker服务进程堆大小。该参数支持节点级别设置,默认值会根据创建集群时节点资源动态设置。
kafka_server_start_cmd_addition_args Kafka启动命令附加参数。例如,您可以通过此配置设置额外的CLASSPATH。
kafka.ssl.config.type SSL配置方式。取值如下:
  • NO_SSL(默认值):不启用SSL。
  • DEFAULT:使用默认证书启用SSL。
  • CUSTOM:自定义SSL配置。
kafka.sasl.config.type SASL配置方式。取值如下:
  • NO_SASL(默认值):不启用SASL。
  • DEFAULT:使用默认Kerberos启用SASL。
  • CUSTOM:自定义SASL配置。
kafka.server.jaas.content Kafka Server jaas文件内容,用于启动Kafka Broker服务。
kafka.client.jaas.content Kafka Server jaas文件内容,用于启动Schema Registry等组件。
kafka.config.expert.model 是否使用专家配置模式。取值如下:
  • false(默认值):非专家配置模式。SSL、SASL等相关配置项会根据环境自动关联。
  • true:专家配置模式。您可以在EMR控制台手动配置SSL、SASL等相关配置项。
kafka.cruisecontrol.metric.reporter.enable 是否启用Cruise Control Reporter采集metrics。取值如下:
  • false(默认值):不启用Cruise Control Reporter采集metrics。
  • true:启用Cruise Control Reporter采集metrics。
kafka.connect.heap.opts Kafka Connect服务进程堆大小。默认值为-Xmx2G -Xms2G。