本文为您介绍如何通过阿里云账号登录E-MapReduce控制台,基于Kubernetes创建EMR集群。
前提条件
已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess权限,详情请参见角色授权。
已创建Kubernetes(ACK)集群,详情请参见创建Kubernetes专有版集群或创建Kubernetes托管版集群。
Kubernetes版本:仅支持1.22~1.24之间的版本。
vCPU:大于等于16 vCPU。
内存:大于等于64 GiB。
实例规格:
仅支持通用型、 计算型、内存型。
仅支持ecs.g5、ecs.g6、ecs.g7及更高系列的规格族。
已创建节点池,详情请参见创建节点池。
创建ACK集群时,有以下限制信息:
注意事项
同一个ACK集群,不支持重复部署Data Science集群。
操作步骤
登录EMR on ACK。
在EMR on ACK页面,单击创建集群。
配置集群信息。
参数
描述
地域
创建的集群会在对应的地域内,一旦创建不能修改。
集群类型
Data Science:主要面向大数据+AI场景,提供Hive和Spark离线大数据ETL和TensorFlow模型训练,您可以选择CPU+GPU的异构计算框架,通过英伟达GPU对部分深度学习算法进行高性能计算。
产品版本
默认最新的软件版本。
组件版本
展示集群类型下的组件及组件版本信息。
ACK集群
选择已有的ACK集群,或者在容器服务ACK控制台新建ACK集群。
说明Data Science集群会使用如下命名空间(Namespace),包括anonymous、cert-manager、fluid-system、ingress-nginx、istio-system、knative-serving、kubeflow、kubernetes-dashboard和monitoring。如果您的ACK集群上有这些Namespace,则集群创建后会覆盖原有Namespace。
配置专属节点
单击配置专属节点,可以配置EMR专属节点。配置专属节点可以对节点池或节点打上EMR专属的污点和标签,被配置的节点池或节点只能用于EMR。
集群名称
集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、中划线(-)和下划线(_)。
单击创建。
当集群状态显示为运行中时,表示集群创建成功。