使用 E-MapReduce Hadoop 集群时,需要使用不同的实例组的机型。例如:
  • 部分内存型实例节点(CPU: Mem = 1 vCore: 8 GiB)用于大数据离线处理,部分计算型实例(CPU: Mem=1 vCore: 2 GiB)用于模型训练。
  • 不同的机器分配给不同的部门使用,部分是内存型实例(CPU: Mem=1 vCore: 8 GiB), 部分是计算型实例(CPU:Mem=1 vCore: 2 GiB)。
EMR 可以通过 Task 节点设立多个机器组,在不同的机器组选择不同的配置达到以上目标。具体操作步骤如下:
  1. 登录阿里云 E-MapReduce 控制台,单击集群概览区域的前往集群列表进入集群列表页面。
  2. 单击对应集群右侧的管理
  3. 在左侧导航栏中单击集群基础信息
  4. 单击右上角资源变配,在下拉框中选择扩容
  5. 选择 Task(任务实例组),单击新增机器组
  6. 设置机器组名称,选择相关配置。
    说明 机器名在一个集群中是唯一的,不能重复。


注意 EMR Hadoop 集群 Task 最多支持 10 个机器组。