如何快速创建一个Hadoop集群_开源大数据平台 E-MapReduce-阿里云帮助中心

本文为您介绍如何通过阿里云账号登录E-MapReduce（简称EMR）控制台，快速创建一个DataLake集群并执行作业。

前提条件

注册阿里云账号，并完成实名认证。具体操作请参见阿里云账号注册流程。
说明
根据阿里云ECS的规则，您在购买按量付费实例时，需要保证阿里云账户中可用余额（含现金、代金券、优惠券等）不得少于100元人民币。
完成对E-MapReduce的服务账号授予默认的EMR和ECS角色权限，详情请参见角色授权。

操作流程

步骤一：创建集群
在EMR控制台，快速创建一个DataLake集群。
步骤二：创建并执行作业
集群创建成功后，您可以创建并执行Spark类型作业。
步骤三：查看作业运行记录
提交作业后，您可以通过YARN UI方式查看作业运行记录。
（可选）步骤四：释放集群
如果不再使用该集群，可以释放集群以节约成本。

步骤一：创建集群

进入创建集群页面。
1. 登录EMR on ECS控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
  - 地域：创建的集群会在对应的地域内，一旦创建不能修改。
  - 资源组：默认显示账号全部资源。
3. 单击上方的创建集群。

在创建集群页面，完成集群相关配置。

配置区域	配置项	示例	描述
软件配置	地域	华东1（杭州）	集群节点ECS实例所在的物理位置。重要集群创建后，无法更改地域，请谨慎选择。
	业务场景	新版数据湖	默认为新版数据湖。
	产品版本	EMR-5.10.1	当前最新的软件版本。
	服务高可用	不开启。	默认不开启。打开服务高可用开关后，EMR会把Master节点分布在不同的底层硬件上以降低故障风险。
	可选服务	HADOOP-COMMON、HDFS、YARN、Hive、Spark3、TEZ、Knox和OpenLDAP。	根据您的实际需求选择组件，被选中的组件会默认启动相关的服务进程。说明除过集群默认的服务，还需选择Knox和OpenLDAP服务。
硬件配置	付费类型	按量付费	在测试场景下，建议使用按量付费，测试正常后可以释放该集群，再新建一个包年包月的生产集群正式使用。
	可用区	可用区 I	集群创建后，无法直接更改可用区，请谨慎选择。
	专有网络	vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****	选择对应区域下的专有网络。如果没有，单击创建VPC前往新建。创建专有网络完成后，单击刷新，可以选择刚创建好的VPC。
	交换机	vsw_i/vsw-bp1e2f5fhaplp0g6p****	选择在对应专有网络下可用区的交换机，如果在这个可用区没有可用的交换机，则需要新创建一个。
	默认安全组	sg_seurity/sg-bp1ddw7sm2risw****	重要禁止使用ECS上创建的企业安全组。如果已有在使用的安全组，则可以直接选择使用。您也可以新建一个安全组。
	节点组	打开Master实例下的挂载公网开关，其余使用默认值即可。	您可以根据业务诉求，配置Master实例、Core实例和Task实例信息。详情请参见选型配置说明。
基础配置	集群名称	Emr-DataLake	集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、短划线（-）和下划线（_）。
	身份凭证	密码。	用于远程登录集群的Master节点。
	登录密码和确认密码	自定义密码。	请记录该配置，登录集群时您需要输入该密码。

选中服务协议，单击确认订单。
当集群状态显示为运行中时，表示集群创建成功。

步骤二：创建并执行作业

集群创建成功后，您可以在该集群创建并执行作业。

通过SSH方式连接集群，详情请参见登录集群。
在命令行执行以下命令，提交并运行作业。
本文以Spark 3.1.1版本为例，输入的命令示例如下。
```
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10
```
说明
spark-examples_2.12-3.1.1.jar为您集群中对应的JAR包名称，您可以登录集群，在/opt/apps/SPARK3/spark-current/examples/jars路径下查看。

步骤三：查看作业运行记录

提交作业后，您可以通过YARN UI方式查看作业运行记录。

开启8443端口，详情请参见管理安全组。
新增用户，详情请参见管理用户。
在使用Knox账号访问YARN UI页面时，需要Knox账号的用户名和密码。
在EMR on ECS页面，单击目标集群所在行的集群服务。
单击访问链接与端口页签。
单击YARN UI所在行的公网链接。
使用用户管理中的用户身份信息进行登录认证，即可进入YARN UI页面。
在All Applications页面，单击目标作业的ID，可以查看作业运行的详情。

（可选）步骤四：释放集群

如果您创建的集群不再使用时，可以释放集群节约成本。确认集群释放后，系统会对集群进行如下处理：

强制终止集群上的所有作业。
终止并释放所有的ECS实例。

这个过程所需时间取决于集群的大小，集群越小释放越快。通常在几秒内可以完成释放，至多不会超过5分钟。

重要

按量付费的集群可以随时释放，包年包月的集群到期后才能释放。
释放集群前，请确保集群状态是初始化中、运行中或空闲。

在EMR on ECS页面，选择目标集群所在行的 > 释放。
您还可以单击目标集群的集群名称，然后在基础信息页面，选择右上角的全部操作 > 释放。
在弹出的对话框中，单击确定。

常见问题

了解使用阿里云E-MapReduce的常见问题：常见问题。

E-MapReduce快速入门