Hadoop和Hive等软件含有大量的配置,当您需要对其软件配置进行修改时,可以在创建集群时通过软件自定义配置功能实现。本文为您介绍如何配置自定义软件。
使用限制
软件配置操作仅在集群创建时执行一次。
操作步骤
- 进入集群管理页面。
- 登录EMR on ECS控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 在集群管理页面,单击创建集群。
- 在软件配置的高级设置区域,开启软件自定义配置开关。 您可以添加JSON格式的配置文件,在创建集群过程中覆盖或添加集群服务的默认参数。JSON文件的内容示例如下。
[ { "ApplicationName":"YARN", "ConfigFileName":"yarn-site", "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores", "ConfigItemValue":"8" }, { "ApplicationName":"YARN", "ConfigFileName":"yarn-site", "ConfigItemKey":"aaa", "ConfigItemValue":"bbb" } ]
- 各参数含义如下表所示。
参数 描述 ApplicationName 服务名,需要全部大写。 ConfigFileName 文件名称,实际传参的文件名称,需要去掉后缀。 ConfigItemKey 配置项的名称。 ConfigItemValue 该配置项要设置的具体的值。 - 各服务的配置文件如下表所示。
服务 配置文件 YARN - core-site.xml
- log4j.properties
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
- httpsfs-site.xml
- capacity-scheduler.xml
- hadoop-env.sh
- httpfs-env.sh
- mapred-env.sh
- yarn-env.sh
Hive - hive-env.sh
- hive-site.xml
- hive-exec-log4j.properties
- hive-log4j.properties
集群组件的参数配置好后,您可以继续创建集群,详情请参见创建集群。
- 各参数含义如下表所示。