E-MapReduce提供控制台的方式修改、添加或查看HDFS、YARN和Spark等服务的配置项。本文为您介绍如何在E-MapReduce控制台管理配置项。
前提条件
已创建集群，详情请参见创建集群。
查看配置项
在目标服务的配置页签中，默认展示集群默认的配置项。您也可以在集群默认配置下拉列表中，选择节点组配置或者独立节点配置。部分节点、节点组支持修改配置项，详情请参见节点级别可修改的配置项。
如果某个配置项在节点组或节点级别有修改，或与集群级别的默认配置存在不一致，则该配置项将在集群默认配置级别的页面显示节点组或节点级别的配置信息。
查看某一配置项节点组级别和节点级别配置值，需要指定具体的节点组或节点名称。
同一配置项的配置值存在覆盖关系。配置项的配置值是按节点、节点组、集群级别三层管理的，优先级顺序为：节点级别 > 节点组级别 > 集群级别。
在集群默认配置级别的页面，节点组或节点的配置项仅供查看。如果需要进行修改，请先单击上方的文件页签，然后选择节点组配置或者独立节点配置进行修改与保存。
修改配置项
进入服务的配置页面。
在顶部菜单栏处，根据实际情况选择地域和资源组。
在EMR on ECS页面，单击目标集群操作列的集群服务。
单击目标服务区域的配置。
修改配置。
在搜索框中，输入待修改的配置项。
找到您待修改的参数后，修改对应的参数值。
保存配置。
在配置页面，单击保存。
在保存对话框中，输入执行原因，单击保存。
说明在保存对话框中，保存并下发配置开关默认打开，保存配置后，配置项将下发至客户端。您可以通过手动生效方式使配置生效。如果您在保存对话框中关闭了保存并配置下发开关，则可以通过提示灯方式使配置生效。
生效配置。
请根据您修改的参数类型执行以下操作，使修改的配置生效。
手动生效方式
客户端类型配置
保存完成后，单击部署客户端配置。
在弹出的对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
服务端类型配置
保存完成后，在配置页面，选择。
在弹出的对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
提示灯生效方式
说明该方式仅适用于EMR-5.12.1及后续版本，EMR-3.46.1及后续版本。
客户端类型配置
保存完成后，会有
的提示灯。单击待下发提示灯。
在弹出的对话框中，单击配置下发。
说明对于YARN服务，如果配置下发的配置项中有队列相关的配置项，则在配置下发后，需要再单击部署生效或
的提示灯，才能使配置生效。
服务端类型配置
保存完成后，会有
的提示灯。单击待生效提示灯。
在弹出的对话框中，根据生效方式进行配置。
自定义生效方式配置
需要您手动单击各生效操作。
重启生效方式配置
可以单击重启或批量重启。
在弹出的对话框中，输入执行原因，单击确定。
添加配置项
进入服务的配置页面。
在顶部菜单栏处，根据实际情况选择地域和资源组。
在EMR on ECS页面，单击目标集群操作列的集群服务。
单击目标服务区域的配置。
新增配置。
单击待操作的页签。
单击上方的新增配置项。
根据您的实际情况，添加配置项。
一次可以添加多个配置项。
配置项
描述
Key
参数名。
Value
参数值。
描述
参数描述。
操作
支持删除配置项。
新增完成后，单击确定。
在弹出的对话框中，输入执行原因，单击保存。
生效配置。
请根据您修改的参数类型执行以下操作，使修改的配置生效。
手动生效方式
客户端类型配置
保存完成后，单击部署客户端配置。
在弹出的对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
服务端类型配置
保存完成后，在配置页面，选择。
在弹出的对话框中，输入执行原因，单击确定。
在确认对话框中，单击确定。
提示灯生效方式
说明该方式仅适用于EMR-5.12.1及后续版本，EMR-3.46.1及后续版本。
客户端类型配置
保存完成后，会有
的提示灯。单击待下发提示灯。
在弹出的对话框中，单击配置下发。
说明对于YARN服务，如果配置下发的配置项中有队列相关的配置项，则在配置下发后，需要再单击部署生效或
的提示灯，才能使配置生效。
服务端类型配置
保存完成后，会有
的提示灯。单击待生效提示灯。
在弹出的对话框中，根据生效方式进行配置。
自定义生效方式配置
需要您手动单击各生效操作。
重启生效方式配置
可以单击重启或批量重启。
在弹出的对话框中，输入执行原因，单击确定。
节点级别可修改的配置项
本文以EMR-5.17.1版本为例介绍。
kerberos相关的配置项，需要在开启Kerberos安全认证的场景下显示。
服务名 | 文件名 | 节点/节点组可修改的配置项 |
Hadoop-Common | core-site.xml | fs.oss.tmp.data.dirs hadoop.tmp.dir |
HDFS | hdfs-env.sh | hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
OSS-HDFS | 无 | 无 |
Hive | hive-env.sh | hive_metastore_heapsize hive_server2_heapsize |
Spark2 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Spark3 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Tez | 无 | 无 |
Trino | iceberg.properties | hive.hdfs.trino.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 说明 event-listener.config-files用于指定事件监听器（Event Listener）的配置文件路径，在开启Event Listener开关后可显示。 | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
hive.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
DeltaLake | 无 | 无 |
Hudi | 无 | 无 |
Iceberg | 无 | 无 |
JindoData | storage.yaml | jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 说明
|
Flume | flume-conf.properties | agent_name flume-conf.properties |
Kyuubi | kyuubi-env.sh | kyuubi_java_opts |
YARN | yarn-site.xml | yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
yarn-env.sh | YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN | |
mapred-env.sh | HADOOP_JOB_HISTORYSERVER_HEAPSIZE | |
mapred-site.xml | mapreduce.cluster.local.dir | |
Impala | 无 | 无 |
OpenLDAP | 无 | 无 |
Ranger | 无 | 无 |
Ranger-Plugin | 无 | 无 |
DLF-Auth | 无 | 无 |
Presto | iceberg.properties | hive.hdfs.presto.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
hive.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
Starrocks2 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Starrocks3 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Doris | fe.conf | JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
be.conf | storage_root_path | |
ClickHouse | server-config | interserver_http_host |
server-metrika | macros.shard macros.replica | |
Zookeeper | 无 | 无 |
Sqoop | 无 | 无 |
Knox | 无 | 无 |
Celeborn | celeborn-env.sh | CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
celeborn-defaults.conf | celeborn.worker.storage.dirs celeborn.worker.flusher.threads | |
Flink | flink-conf.yaml | security.kerberos.login.principal security.kerberos.login.keytab |
HBase | hbase-env.sh | hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
hbase-site.xml | hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small | |
HBASE-HDFS | hdfs-env.sh | hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
JindoCache | 无 | 无 |
Kafka | server.properties | broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 说明
|
kafka-internal-config | broker_id | |
user_params | is_local_disk_instance | |
Kudu | master.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
tserver.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir | |
Paimon | 无 | 无 |
Phoenix | 无 | 无 |