本文为您介绍如何基于kubernetes创建E-MapReduce(简称EMR)集群。

前提条件

操作步骤

  1. 登录阿里云E-MapReduce on ACK控制台
  2. 集群管理页面,单击创建集群
  3. EMR on ACK页面,配置如下参数。
    参数 描述
    地域 创建的集群将会在对应的地域内,一旦创建不能修改。
    集群类型 支持以下两种集群类型:
    • Spark:Spark是通用的分布式大数据处理引擎,提供了ETL、离线批处理和数据建模等能力。
    • Shuffle Service:RSS(Remote Shuffle Service)是阿里云EMR在优化计算引擎的Shuffle操作上,推出的扩展组件。
      注意 当创建Shuffle Service集群类型时,新建的Kubernetes集群或者选择的已有的Kubernetes集群的实例规格必须是大数据型或者本地SSD,否则部署RSS失败。
      Shuffle
    产品版本 默认最新的软件版本。
    组件版本 所选集群类型下的组件及组件版本信息。
    ACK集群 选择已有的ACK集群,或者在容器服务ACK控制台新建ACK集群。
    单击配置专属节点,可以配置或修改专属节点。配置专属节点可以对节点池或节点打上EMR专属的污点和标签,被配置的节点池或节点只能用于EMR。
    说明 推荐您使用节点池的方式来配置专属节点,如果没有节点池,请创建节点池,详情请参见创建节点池
    OSS Bucket 选择已有的Bucket,或者在对象存储OSS控制台新建Bucket。
    集群名称 集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、中划线(-)和下划线(_)。
  4. 单击创建
    创建集群后可以通过刷新页面来查看进度,当集群状态显示为运行中时,集群创建成功。