创建集群

配置项

描述

地域

地域指数据中心所在的地理区域，选择距离近的地域可以降低网络时延，实例创建完成后不支持更改地域。

在地域下拉列表中选择EMR实例所在的物理位置。

业务场景

请您根据自身实际场景进行选择：

• 数据湖（DataLake）：提供更灵活、可靠、高效的管理集群，更快的运行大数据计算引擎并提供出色的数据分析能力。

  • 支持构建数据湖架构，使用JindoFS进行数据湖加速。

  • 支持OSS-HDFS（全托管HDFS）作为存储，减少您的运维成本，完全基于使用量计费。

  更多信息，请参见数据湖集群。

• 数据分析（OLAP）：将海量数据通过导入或者外表等形式引入到OLAP分析引擎里，例如，ClickHouse、StarRocks，提供高效、实时和灵活的数据分析能力，满足用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。

• 实时数据流（DataFlow）：是EMR平台上提供的实时计算一站式解决方案，拥有分布式、高吞吐量和高可扩展性的消息系统Kafka和基于Apache Flink官方产品Ververica提供的Flink商业内核两大组件，专注于解决实时计算端到端的各类问题，广泛应用于实时数据ETL和日志采集分析等场景，您也可以单独使用其中任一组件。

• 数据服务（DataServing）：

  • 提供更灵活、可靠、高效的数据服务集群。

  • 提供半托管HBase集群，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。

  • 支持JindoData本地缓存以进一步提高数据服务集群的读写性能。

  更多信息，请参见数据服务集群。

• 自定义集群（Custom）：自定义集群提供了丰富的服务搭配。您可以根据需求选择需要的服务。

  说明

  在生产环境中，建议避免将多个存储服务部署在同一个节点组上。

产品版本

EMR产品的发行版本，详细请参见发行版本。

服务高可用

默认关闭。开启高可用后，EMR会创建多个Master节点来支持ResourceManager和NameNode的高可用，并将他们分布在多个底层硬件上，以降低故障风险。

可选服务(至少一项)

根据您的实际需求选择其他的一些服务，被选中的服务会默认启动相关的服务进程。

允许采集服务运行日志

支持一键开启或关闭所有服务的日志采集。默认开启，将收集您的服务运行日志，这些日志仅供集群诊断使用。

集群创建后，您可以在基础信息页面，修改服务运行日志收集状态。

元数据

支持以下方式存储和管理元数据：

• DLF 统一元数据（推荐）：表示元数据存储在数据湖构建DLF中。

  重要

  选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的开通，前往DLF控制台操作。

  开通DLF后，系统会为您选择默认的DLF 数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以按照以下方式新建目录。

  1. 单击创建数据目录，在弹出的对话框中输入目录ID，单击确定。详情请参见数据目录。

  2. 在DLF 数据目录下拉列表中，选择您新建的数据目录。

• 自建 RDS：选择您自有的或阿里云RDS实例作为元数据存储。

  选择该方式时，需要配置RDS相关的参数，详情请参见配置自建RDS。

• 内置 MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。

  说明

  • 测试场景：推荐使用DLF 统一元数据。

  • 生产场景：可以使用DLF 统一元数据或自建 RDS。

集群存储根路径

当您在可选服务区域选择了OSS-HDFS服务时，需要配置该参数，如果选择的是HDFS服务，则无需配置该参数。

首次使用OSS-HDFS服务时，阿里云账号（主账号）需要单击此处，根据提示信息完成授权。RAM用户需要阿里云账号授权开通并授予AliyunEMRDlsFullAccess权限，以及AliyunOSSDlsDefaultRole和AliyunEMRDlsDefaultRole角色，详情请参见为RAM用户授权。选择一个已在同一地域下开通了OSS-HDFS服务的Bucket，或者单击创建 OSS-HDFS 实例，根据提示信息创建一个OSS-HDFS实例，作为集群的存储根路径。

配置项

说明

付费类型

默认为包年包月。当前支持的付费类型如下：

• 按量付费：一种后付费模式，即先使用再付费。按量付费是根据实际使用的小时数来支付费用，每小时计费一次，适合短期的测试任务或是灵活的动态任务。

• 包年包月：一种预付费模式，即先付费再使用。

  说明

  • 建议测试场景下使用按量付费，测试正常后再新建一个包年包月的生产集群正式使用。

  • 包年包月实例还需选择付费时长和是否开启自动续费。默认续费时长为6个月，且开启自动续费。开启自动续费后，实例到期前7天会执行自动续费操作，详情请参见续费说明。

可用区

可用区为在同一地域下的不同物理区域，可用区之间内网互通。通常使用默认的可用区即可。

专有网络

专有网络是您在阿里云自己定义的一个隔离网络环境，您可以完全掌控自己的专有网络。

选择已有的专有网络，或者单击创建 VPC前往专有网络控制台即时创建专有网络，详情请参见创建和管理专有网络。

交换机

交换机（vSwitch）是组成专有网络VPC的基础网络模块，用来连接不同的云资源。

选择已有的交换机，或者单击创建交换机前往专有网络控制台即时创建交换机，详情请参见创建和管理交换机。

默认安全组

安全组是一种虚拟防火墙，用于控制安全组内实例的入流量和出流量。更多信息，请参见安全组概述。

选择已有的安全组，或者单击新建安全组前往ECS控制台新建一个安全组，详情请参见创建安全组。

节点组

您可以根据需要选择实例规格，详情请参见实例规格族。

• Master：主要负责ResourceManager和NameNode等控制进程的部署。

• Core：主要负责集群所有数据的存储，创建集群完成后也支持按需进行扩容。

• Task：不保存数据，调整集群的计算力使用。默认不开启，需要时可自定义配置。

  重要

  Task节点组支持的付费类型有按量付费、抢占式实例和包年包月。

• 加入部署集：开启高可用后，Master默认加入部署集。部署集是控制实例分布的策略，详情请参见部署集。

• 系统盘：根据需要选择SSD云盘、ESSD云盘或者高效云盘。系统盘大小请根据需要调整。

• 数据盘：根据需要选择SSD云盘、ESSD云盘或者高效云盘。数据盘大小请根据需要调整。

  说明

  当您选择ESSD云盘时，可以根据所选云盘的容量大小来设置不同的性能级别（PL级别），以满足不同的集群性能需求。默认的性能级别为PL1。根据云盘的容量范围，系统盘支持PL0、PL1和PL2三个性能级别的云盘规格，数据盘支持PL0、PL1、PL2和PL3四个性能级别的云盘规格。云盘的详细信息，请参见云盘概述。

• 实例数量：Master节点组默认1台。如果开启高可用，可以有多台Master实例。

  Core节点组默认2台，您可以根据需要调整。

• 附加安全组：附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。您最多可以为该节点组关联2个附加安全组。

• 挂载公网：集群是否挂载弹性公网IP地址，默认不开启。仅DataLake集群支持节点组级别挂载公网。

  说明

  如果您未开启该功能，创建后您想使用公网IP地址访问，请在ECS上申请开通公网IP地址，详情请参见申请EIP。

集群伸缩

您可根据需要选择弹性伸缩规则：

• 不使用弹性伸缩规则（默认）。

• 自定义弹性伸缩规则：需要自定义弹性伸缩规则，可按时间或按负载实现自动弹性伸缩。详情请参见创建自定义弹性伸缩规则。

• 托管弹性伸缩规则：当您启动集群时，EMR会按托管伸缩规则预调配Task节点数量。详情请参见创建托管弹性伸缩规则。

配置项

说明

集群名称

集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、短划线（-）和下划线（_）。

身份凭证

身份凭证用于安全地登录集群的Master节点，登录操作请参见登录集群。支持以下身份：

• 密钥对（默认）：选择已有的密钥对，或者单击新建密钥对即时创建密钥对。

  密钥对是一种安全便捷的登录认证方式，由公钥和私钥组成，仅支持Linux实例。关于密钥对的使用详情，请参见SSH密钥对。

• 密码：设置Master节点的登录密码，并输入确认密码。用户名默认为root。

  • 密码规则：8~30个字符，且必须同时包含大写字母、小写字母、数字和特殊字符。

  • 特殊字符包括：感叹号（!）、at（@）、井号（#）、美元符号（$）、百分号（%）、乘方（^）、and（&）和星号（*）。