本文为您介绍如何通过阿里云账号登录E-MapReduce(简称EMR)控制台,快速创建一个DataLake集群并执行作业。
前提条件
操作流程
- 步骤一:创建集群在EMR控制台,快速创建一个DataLake集群。
- 步骤二:创建并执行作业集群创建成功后,您可以创建并执行Spark类型作业。
- 步骤三:查看作业运行记录提交作业后,您可以通过YARN UI方式查看作业运行记录。
- (可选)步骤四:释放集群如果不再使用该集群,可以释放集群以节约成本。
步骤一:创建集群
- 进入创建集群页面。
- 在创建集群页面,完成集群相关配置。
配置区域 配置项 示例 描述 软件配置 地域 华东1(杭州) 集群节点ECS实例所在的物理位置。 重要 集群创建后,无法更改地域,请谨慎选择。业务场景 新版数据湖 默认为新版数据湖。 产品版本 EMR-5.10.1 当前最新的软件版本。 服务高可用 不开启。 默认不开启。打开服务高可用开关后,EMR会把Master节点分布在不同的底层硬件上以降低故障风险。 可选服务 HADOOP-COMMON、HDFS、YARN、Hive、Spark3、TEZ、Knox和OpenLDAP。 根据您的实际需求选择组件,被选中的组件会默认启动相关的服务进程。 说明 除过集群默认的服务,还需选择Knox和OpenLDAP服务。硬件配置 付费类型 按量付费 在测试场景下,建议使用按量付费,测试正常后可以释放该集群,再新建一个包年包月的生产集群正式使用。 可用区 可用区 I 集群创建后,无法直接更改可用区,请谨慎选择。 专有网络 vpc_Hangzhou/vpc-bp1f4epmkvncimpgs**** 选择对应区域下的专有网络。如果没有,单击创建VPC前往新建。创建专有网络完成后,单击刷新,可以选择刚创建好的VPC。 交换机 vsw_i/vsw-bp1e2f5fhaplp0g6p**** 选择在对应专有网络下可用区的交换机,如果在这个可用区没有可用的交换机,则需要新创建一个。 默认安全组 sg_seurity/sg-bp1ddw7sm2risw**** 如果已有在使用的安全组,则可以直接选择使用。您也可以新建一个安全组。重要 禁止使用ECS上创建的企业安全组。节点组 打开Master实例下的挂载公网开关,其余使用默认值即可。 您可以根据业务诉求,配置Master实例、Core实例和Task实例信息。详情请参见选型配置说明。 基础配置 集群名称 Emr-DataLake 集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。 身份凭证 密码。 用于远程登录集群的Master节点。 登录密码和确认密码 自定义密码。 请记录该配置,登录集群时您需要输入该密码。 - 选中服务协议,单击确认订单。当集群状态显示为运行中时,表示集群创建成功。
步骤二:创建并执行作业
集群创建成功后,您可以在该集群创建并执行作业。
- 通过SSH方式连接集群,详情请参见登录集群。
- 在命令行执行以下命令,提交并运行作业。本文以Spark 3.1.1版本为例,输入的命令示例如下。
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10
说明spark-examples_2.12-3.1.1.jar
为您集群中对应的JAR包名称,您可以登录集群,在/opt/apps/SPARK3/spark-current/examples/jars
路径下查看。
步骤三:查看作业运行记录
提交作业后,您可以通过YARN UI方式查看作业运行记录。
(可选)步骤四:释放集群
如果您创建的集群不再使用时,可以释放集群节约成本。确认集群释放后,系统会对集群进行如下处理:
- 强制终止集群上的所有作业。
- 终止并释放所有的ECS实例。
这个过程所需时间取决于集群的大小,集群越小释放越快。通常在几秒内可以完成释放,至多不会超过5分钟。
重要
- 按量付费的集群可以随时释放,包年包月的集群到期后才能释放。
- 释放集群前,请确保集群状态是初始化中、运行中或空闲。
- 在EMR on ECS页面,选择目标集群所在行的 。您还可以单击目标集群的集群名称,然后在基础信息页面,选择右上角的 。
- 在弹出的对话框中,单击释放。
相关文档
常见问题
了解使用阿里云E-MapReduce的常见问题:常见问题。