全部产品
云市场

开通Spark服务

更新时间:2019-08-15 21:39:31

本文介绍如何通过DLA控制台开通Spark服务。

开通Spark服务时,不产生任何费用,只有通过DLA扫描数据时才会发生费用变化。

前提条件

操作步骤

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 在左侧导航栏单击Spark > Spark配置

  4. Spark配置页面,设置Spark的最大CU数量和Spark版本号

    • 最大CU数量:通过设定最大CU数量,保证同一主账号下的多个子账号在并发提交Spark任务时,不会超过最大CU数量上限,从而将DLA费用控制在一个合理的范围内,有效节约成本。

      • 1个CU=1CPU+4GB。
      • DLA支持的最大CU数量有64CU、128CU两种类型,如果您需要更大处理能力的CU,请提交工单申请。
    • 版本号:公测期间,DLA仅提供DLA-Spark-1.0版本,后续将支持更多版本。

      每个Spark版本分别有其对应的依赖资源包和功能,如果需要更多第三方依赖包,可以在提交任务时通过OSS路径来引用第三方依赖包。

    • 版本描述

      • Spark版本2.4.3:对应Spark内核版本Spark-2.4.3。

      • HMS(HiveMetaStore)版本1.2.1:对应HiveMetaStore-1.2.1。

      • Hadoop版本2.7.3:对应Hadoop-2.7.3。

      配置Spark参数

  5. 完成上述参数配置后,单击确认,开通Spark服务。

下一步

创建Spark服务访问点