全部产品
云市场

创建虚拟集群

更新时间:2020-04-28 18:11:26

使用Serverless Spark之前,您需要先创建虚拟集群,Spark任务运行在虚拟集群上。

注意事项

  • 目前只有华北三(张家口)支持Serverless Spark功能,后续将开放更多地域。

  • 只支持通过Spark访问OSS数据源,后续将开放更多数据源。

  • 目前Serverless Spark只支持三种CU规格small、medium、large,后续将支持更多CU规格。

  • 一个阿里云账号最多可以创建10个虚拟集群。

操作步骤

  1. 登录Data Lake Analytics管理控制台

  2. 页面左上角,选择DLA所在地域。

    目前只有华北三(张家口)支持Serverless Spark功能,后续将开放更多地域。

  3. 单击左侧导航栏中的Serverless Spark > 虚拟集群管理

  4. 虚拟集群管理页面,单击新建虚拟集群

  5. 创建虚拟集群页面,根据页面提示进行参数配置。

    参数 说明
    名称 设置虚拟集群的名称,要求该名称在阿里云账号内唯一。

    虚拟集群名称以英文字母开头,可以包含英文字母、下划线(-)、数字。

    资源上限 设置虚拟集群中Spark作业可使用的CPU数目和内存总量上限。

    您可以从资源上限下拉列表中选择资源,也可以单击自定义输入资源上限。

    如果单个Spark作业所使用的资源总量超过资源上限,系统将拒绝Spark作业的提交请求。

    版本号 Serverless Spark引擎的版本号。
    版本描述 Serverless Spark引擎版本描述

    单击显示,您可以设置Spark作业的默认参数。

    executor默认资源规格 Spark作业配置中executor的默认资源规格,对应spark.executor.resourceSpec。
    executor默认数量 Spark作业配置中executor的默认数量,对应spark.executor.instances。
    driver默认资源规格 Spark作业配置中driver的默认资源规格,对应spark.driver.resourceSpec。

    配置参数

  6. 完成上述参数配置后,单击确定创建虚拟集群。

    只需1秒即可创建虚拟集群,虚拟集群的状态为RUNNING时,表示集群创建成功。

后续步骤

虚拟集群创建成功后,您就可以创建Spark作业,并使用虚拟集群中的资源执行Spark任务,请参见创建和执行Spark任务