创建Data Science集群

本文为您介绍如何通过阿里云账号登录E-MapReduce控制台,基于Kubernetes创建EMR集群。

前提条件

  • 已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess权限,详情请参见角色授权

  • 已创建Kubernetes(ACK)集群,详情请参见创建Kubernetes专有版集群创建Kubernetes托管版集群

  • 重要

    创建ACK集群时,有以下限制信息:

    • Kubernetes版本:仅支持1.22~1.24之间的版本。

    • vCPU:大于等于16 vCPU。

    • 内存:大于等于64 GiB。

    • 实例规格:

      • 仅支持通用型、 计算型、内存型。

      • 仅支持ecs.g5、ecs.g6、ecs.g7及更高系列的规格族。

  • 已创建节点池,详情请参见创建节点池

注意事项

同一个ACK集群,不支持重复部署Data Science集群。

操作步骤

  1. 登录EMR on ACK

  2. EMR on ACK页面,单击创建集群

  3. 配置集群信息。

    参数

    描述

    地域

    创建的集群会在对应的地域内,一旦创建不能修改。

    集群类型

    Data Science:主要面向大数据+AI场景,提供Hive和Spark离线大数据ETL和TensorFlow模型训练,您可以选择CPU+GPU的异构计算框架,通过英伟达GPU对部分深度学习算法进行高性能计算。

    产品版本

    默认最新的软件版本。

    组件版本

    展示集群类型下的组件及组件版本信息。

    ACK集群

    选择已有的ACK集群,或者在容器服务ACK控制台新建ACK集群。

    说明

    Data Science集群会使用如下命名空间(Namespace),包括anonymous、cert-manager、fluid-system、ingress-nginx、istio-system、knative-serving、kubeflow、kubernetes-dashboard和monitoring。如果您的ACK集群上有这些Namespace,则集群创建后会覆盖原有Namespace。

    配置专属节点

    单击配置专属节点,可以配置EMR专属节点。配置专属节点可以对节点池或节点打上EMR专属的污点和标签,被配置的节点池或节点只能用于EMR。

    集群名称

    集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、中划线(-)和下划线(_)。

  4. 单击创建

    当集群状态显示为运行中时,表示集群创建成功。