创建集群或新增节点时自定义服务配置-开源大数据平台 E-MapReduce-阿里云

YARN和Hive等服务含有大量的配置项。如果您需要调整这些服务的配置项，则可以使用软件自定义配置功能，以修改现有配置或添加新的配置项。

创建集群时配置

登录E-MapReduce控制台。
在顶部菜单栏处，根据实际情况选择地域和资源组。
在EMR on ECS页面，单击创建集群。

在软件配置的高级设置区域，开启软件自定义配置开关。 Custom software

您可以添加JSON格式的配置文件，在创建集群过程中覆盖或添加集群服务的默认参数。JSON文件的内容示例如下。

[
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
        "ConfigItemValue":"8"
    },
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"aaa",
        "ConfigItemValue":"bbb"
    }
]

各参数含义如下表所示。

参数	描述
ApplicationName	服务名，需要全部大写。
ConfigFileName	实际传参的配置文件名称。说明为确保配置文件正确应用于对应的集群，请注意实际传参时配置文件的命名细节。数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）或自定义场景（Custom）的集群，需要包含后缀。例如，文件名称为`yarn-site.xml`。旧版数据湖（hadoop），不需要后缀。例如，文件名称为`yarn-site`。
ConfigItemKey	配置项的名称。
ConfigItemValue	该配置项要设置的具体的值。

各服务的配置文件如下表所示。

服务	配置文件
YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpsfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

集群组件的参数配置好后，您可以继续创建集群，详情请参见创建集群。

新增节点组时配置

在集群运行过程中，您可以通过新增节点组来扩展集群规模。新增节点组时，也可以调整服务的配置项，详情请参见管理节点组。

配置自定义软件

创建集群时配置

新增节点组时配置

相关文档