全部产品
云市场

Spark分析引擎

更新时间:2019-12-10 20:14:26

DLA Spark分析引擎提供Serverless化的Spark数据分析能力,用户在Spark中执行任务时,可以根据CU(compute units,计算单元)最大数量来灵活选择计算资源,达到弹性计算的能力。每个Spark任务均支持设置Driver数量和Executor数量。例如,同一个Spark任务,您可以选择使用较多数量(CU数量≤最大CU数量)的CU高效、快速地执行任务,也可以选择使用较少数量的CU在较长时间内执行任务。

说明:

  • 使用Spark服务时,会产生Spark费用

  • 1个CU=1CPU+4GB

  • DLA支持的最大CU数量有64CU、128CU两种类型,如果您需要更大处理能力的CU,请提交工单申请。

以下将详细为您介绍如何使用Spark执行任务。

  1. 开通Spark服务

  2. 创建Spark服务访问点

  3. 创建Spark作业

  4. 创建和执行Spark任务

  5. 管理Spark任务