创建集群
本文为您介绍在EMR on ECS控制台创建集群的详细操作步骤和相关配置。
如果您在2022年12月19日17点(UTC+8)以后第一次创建EMR集群,则不能选择Hadoop、Data Science、Presto、Zookeeper集群类型。
前提条件
已完成RAM授权,详细信息请参见角色授权。
注意事项
EMR-5.12.1及后续版本,EMR-3.46.1及后续版本的DataLake、DataFlow、DataServing和Custom集群,如果所选服务可以不依赖Core节点,则可以在节点组区域单击操作列的移除节点组。
操作步骤
进入EMR on ECS页面。
登录EMR on ECS。
在顶部菜单栏处,根据实际情况选择地域和资源组。
地域:创建的集群将会在对应的地域内,一旦创建不能修改。
资源组:默认显示账号全部资源。
单击上方的创建集群。
配置集群信息。
创建集群时,您需要对集群进行软件配置、硬件配置、基础配置和确认订单。
说明集群创建完成后,除了集群名称以外,其他配置均无法修改,所以在创建时请仔细确认各项配置。
软件配置。
配置项
描述
地域
集群节点ECS实例所在的物理位置。
业务场景
新版数据湖(DataLake):提供更灵活、可靠、高效的管理集群,更快的运行大数据计算引擎并提供出色的数据分析能力。
支持构建数据湖架构,使用JindoFS进行数据湖加速。
支持OSS-HDFS(全托管HDFS)作为存储,减少您的运维成本,完全基于使用量计费。
更多信息,请参见数据湖集群。
数据分析(OLAP):将海量数据通过导入或者外表等形式引入到OLAP分析引擎里,例如,Clickhouse、StarRocks,提供高效、实时和灵活的数据分析能力,满足用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。
实时数据流(DataFlow):是EMR平台上提供的实时计算一站式解决方案,拥有分布式的、高吞吐量和高可扩展性的消息系统Kafka和基于Apache Flink官方产品Ververica提供的Flink商业内核两大组件,专注于解决实时计算端到端的各类问题、广泛应用于实时数据ETL和日志采集分析等场景,您也可以单独使用其中任一组件。
数据服务(DataServing):
提供更灵活、可靠、高效的数据服务集群。
提供半托管HBase集群,同时可以基于OSS-HDFS(JindoFS服务)解耦计算集群与数据存储。
支持JindoData本地缓存以进一步提高数据服务集群的读写性能。
更多信息,请参见数据服务集群。
(Custom):您可以根据需求选择需要的服务。
说明在生产环境下请不要部署多个存储服务在一个节点组上。
(Data Science):主要面向大数据+AI场景。
提供分布式深度学习框架。
提供两百多种经典机器学习算法包。
提供AutoML能力,10余种深度学习算法,覆盖推荐和广告等场景。
:用于构建大规模数据处理框架和管道,适用于大数据分析,支持Apache Hive、Spark和Presto等开源框架。支持的集群类型如下:
Hadoop:
提供最丰富的开源组件列表,完全兼容Hadoop生态。
可应用于大数据离线处理、实时处理和交互式查询等多种使用场景。
支持构建数据湖架构,使用JindoFS进行数据湖加速。
Zookeeper:提供独立的分布式一致性锁服务,适用于大规模的Hadoop集群、HBase集群和Kafka集群。
Presto:是基于内存的分布式SQL交互式查询引擎。支持多种数据源,适合PB级海量数据的复杂分析,以及跨数据源的查询。
产品版本
默认展示最新的软件版本。
服务高可用
默认关闭。开启后,集群会有多个Master节点来支持ResourceManager和NameNode的高可用。
可选服务
根据您的实际需求选择其他的一些服务,被选中的服务会默认启动相关的服务进程。
说明服务越多,对机器的配置要求也越高,所以在下面的步骤中您需要根据实际的服务数量进行机器选型,否则可能没有足够的资源运行这些服务。
允许采集服务运行日志
支持一键开启或关闭所有服务的日志采集。默认开启。开启后,将收集您的服务运行日志,这些日志仅供集群诊断使用。
集群创建后,您可以在基础信息页面,修改服务运行日志收集状态。
重要关闭日志采集后,EMR的健康检查和技术支持将受到限制,但其他功能仍可正常使用。如何关闭及影响详情,请参见如何停止采集服务日志?。
元数据
DLF数据目录
元数据选择为DLF统一元数据时,系统会为您选择默认的DLF数据目录。
集群存储根路径
选择一个开通了OSS-HDFS服务的Bucket。
说明在选择使用OSS-HDFS服务之前,请确保您选择的地域支持该服务。否则,您可以尝试更换地域或使用HDFS服务替代OSS-HDFS服务。OSS-HDFS服务目前支持的地域信息,请参见开通并授权访问OSS-HDFS服务。
EMR-5.12.1及后续版本,EMR-3.46.1及后续版本的DataLake、DataFlow、DataServing和Custom集群,支持选择OSS-HDFS服务。如果选择HDFS服务而非OSS-HDFS服务,则无需配置该参数。
HBase日志存储
默认勾选,表示HBase将HLog文件存储在HDFS中。
说明EMR-5.12.1及后续版本,EMR-3.46.1及后续版本,选择了OSS-HDFS和HBase服务时,才会显示此参数。
Hive存储模式
默认勾选,使用数据湖存储OSS-HDFS或OSS作为数据仓库的存储目录。如果取消勾选,则使用集群HDFS作为存储目录。
说明仅EMR-5.12.0及之前版本,EMR-3.46.0及之前版本,且选择了Hive服务时,才会显示此参数。
Hive数据仓库路径
选择一个OSS或OSS-HDFS Bucket。推荐选择OSS-HDFS Bucket。
说明仅EMR-5.12.0及之前版本,EMR-3.46.0及之前版本,且选择了Hive服务时,才会显示此参数。
请确保具有访问OSS/OSS-HDFS Bucket的权限。
HBase存储模式
使用数据湖存储OSS-HDFS或HDFS存储HBase的数据文件。
说明仅EMR-5.12.0及之前版本,EMR-3.46.0及之前版本,且选择了HBase服务时,才会显示此参数。
HBase存储路径
选择OSS-HDFS Bucket。
说明仅EMR-5.12.0及之前版本,EMR-3.46.0及之前版本,选择了HBase服务,且HBase存储模式选择OSS-HDFS时,才会显示此参数。
高级设置
Kerberos身份认证:是否开启集群的Kerberos认证功能。默认不开启。
重要Knox和Kudu服务不支持开启Kerberos身份认证。
软件自定义配置:可指定JSON文件对集群中的基础软件(例如Hadoop、Spark和Hive等)进行配置,详细使用方法请参见配置自定义软件。默认不开启。
说明针对Hive作业并发量的设置,请参见如何预估Hive作业并发量的上限值?。
硬件配置。
配置项
说明
付费类型
默认包年包月。当前支持的付费类型如下:
按量付费:一种后付费模式,即先使用再付费。按量付费是根据实际使用的小时数来支付费用,每小时计费一次,适合短期的测试任务或是灵活的动态任务。
包年包月:一种预付费模式,即先付费再使用。
说明建议测试场景下使用按量付费,测试正常后再新建一个包年包月的生产集群正式使用。
包年包月实例还需选择付费时长和是否开启自动续费。默认续费时长为6个月,且开启自动续费。开启自动续费后,实例到期前7天会执行自动续费操作,详情请参见续费说明。
可用区
可用区为在同一地域下的不同物理区域,可用区之间内网互通。通常使用默认的可用区即可。
专有网络
默认选择已有的专有网络。
如需创建新的专有网络,请在专有网络控制台新创建一个,详情请参见创建和管理专有网络。
交换机
选择在对应VPC下可用区的交换机,如果在这个可用区没有可用的交换机,则需要在专有网络控制台新创建一个,详情请参见创建和管理交换机。
默认安全组
默认选择已有的安全组。安全组详情请参见安全组概述。
您也可以单击新建安全组,在ECS控制台新建一个安全组,详情请参见创建安全组。
重要禁止使用ECS上创建的企业安全组。
节点组
您可以根据需要选择实例规格,详情请参见实例规格族。
Master:主要负责ResourceManager和NameNode等控制进程的部署。
加入部署集:开启高可用后,Master默认加入部署集。
部署集的详细描述,请参见部署集概述。
系统盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。
系统盘大小请根据需要调整。取值范围为80 ~ 5000 GiB。
数据盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。
数据盘大小请根据需要调整。取值范围为40 ~ 32768 GiB。
实例数量:默认1台。如果开启高可用,可以有多台Master实例。
附加安全组:附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。您最多可以为该节点组关联2个附加安全组。
挂载公网:集群是否挂载弹性公网IP地址,默认不开启。仅DataLake集群支持节点组级别挂载公网。
说明创建后如果您需要使用公网IP地址访问,请在ECS上申请开通公网IP地址,详情请参见弹性公网IP中的申请EIP的内容。
Core:主要负责集群所有数据的存储,创建集群完成后也支持按需进行扩容。
加入部署集:默认关闭。部署集的详细描述,请参见部署集概述。
系统盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。
系统盘大小请根据需要调整。取值范围为80 ~ 5000 GiB。
数据盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。
数据盘大小请根据需要调整。取值范围为40 ~ 32768 GiB。
实例数量:默认2台,根据需要调整。
附加安全组:附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。您最多可以为该节点组关联2个附加安全组。
挂载公网:集群是否挂载弹性公网IP地址,默认不开启。仅DataLake集群支持节点组级别挂载公网。
说明创建后如果您需要使用公网IP地址访问,请在ECS上申请开通公网IP地址,详情请参见弹性公网IP中的申请EIP的内容。
Task:不保存数据,调整集群的计算力使用。默认不开启,需要时可自定义配置。
基础配置。
配置项
说明
集群名称
集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。
身份凭证
密钥对(默认):使用SSH密钥对登录Linux实例。
关于密钥对的使用详情,请参见SSH密钥对。
密码:设置Master节点的登录密码,使用密码登录Linux实例。
密码规则:8~30个字符,且必须同时包含大写字母、小写字母、数字和特殊字符。
特殊字符包括:感叹号(!)、at(@)、井号(#)、美元符号($)、百分号(%)、乘方(^)、and(&)和星号(*)。
高级设置
说明页面右边会显示您所创建集群的配置清单以及集群费用。根据不同的付费类型,展示不同的价格信息。
当所有的信息确认正确后,选中服务协议。
(可选)如果身份认证使用的密钥对,则可以单击保存为集群模板,保存当前集群的配置信息为集群模板。
在保存为集群模板对话框中,输入集群模板名称,选择集群模板资源组。
参数
说明
集群模板名称
输入集群模板的名称,方便后期管理。长度限制为1-64个字符,只允许包含中文、字母、数字、-、_。
集群模板资源组
根据需要选择已有的资源组,方便对模板进行分组管理。
单击确定。
即会在管理集群模板面板中新增一个集群模板。集群模板的详细信息,请参见创建集群模板。
单击确认订单。
重要按量付费集群:立刻开始创建。 集群创建完成后,集群的状态变为运行中。
包年包月集群:先生成订单,支付完成订单以后集群才会开始创建。