Hadoop、Hive、Pig等软件含有大量的配置,当需要对其软件配置进行修改时,可以使用软件配置功能来实现。

前提条件

目前软件配置操作只能在集群创建时执行一次。

操作步骤

  1. 登录阿里云E-MapReduce控制台
  2. 在顶部菜单栏处,选择地域(Region)。
  3. 单击创建集群
  4. 在软件配置这一步,可以看到所有包含的软件以及对应的版本。若想修改集群的配置,可以通过开启软件自定义配置,选择相应的json格式配置文件,对集群的默认参数进行覆盖或添加。json文件的样例内容如下:
    [
        {
            "ServiceName":"YARN",
            "FileName":"yarn-site",
            "ConfigKey":"yarn.nodemanager.resource.cpu-vcores",
            "ConfigValue":"8"
        },
        {
            "ServiceName":"YARN",
            "FileName":"yarn-site",
            "ConfigKey":"aaa",
            "ConfigValue":"bbb"
        }
    ]
    说明
    • 实际传参的FileName,需要去掉后缀。
    • 服务名(ServiceName )需全部大写。
    • ConfigKey是配置项的名称,ConfigValue为该配置项要设置的具体的值。
    各个服务的配置文件如下所示。
    服务 配置文件
    Hadoop
    • core-site.xml
    • log4j.properties
    • hdfs-site.xml
    • mapred-site.xml
    • yarn-site.xml
    • httpsfs-site.xml
    • capacity-scheduler.xml
    • hadoop-env.sh
    • httpfs-env.sh
    • mapred-env.sh
    • yarn-env.sh
    Pig
    • pig.properties
    • log4j.properties
    Hive
    • hive-env.sh
    • hive-site.xml
    • hive-exec-log4j.properties
    • hive-log4j.properties
  5. 设置好后,确认后单击下一步
    继续创建集群,详情可参见创建集群