文档

管理SQL Compute

更新时间:

Compute是指EMR Serverless Spark工作空间中可用的计算资源。您需要访问Compute来运行SQL查询和进行数据科学分析。 本文主要为您介绍如何创建SQL Compute

创建SQL Compute

SQL Compute创建完成后,您可以在创建SQL类型任务时选择此Compute。

  1. 进入Compute页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的Compute

  2. Compute页面,单击创建SQL Compute

  3. 在创建SQL Compute页面,配置以下信息,单击创建

    重要

    根据SQL Compute配置信息,建议所选部署队列的并发上限至少设置为3 CU。

    参数

    说明

    名称

    新建SQL Compute的名称。

    长度限制为1~64个字符,仅支持字母、数字、短划线(-)、下划线(_)和空格。

    部署队列

    请选择合适的开发队列部署Compute。仅展示开发或者开发和生产公用的队列。

    队列更多信息,请参见管理资源队列

    引擎版本

    当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍

    自动停止

    默认开启。45分钟不活动后自动停止SQL Compute。

    spark.driver.cores

    用于指定Spark应用程序中Driver进程所使用的CPU核心数量。默认值为1 CPU。

    spark.driver.memory

    用于指定Spark应用程序中Driver进程可以使用的内存量。默认值为3.5 GB。

    spark.executor.cores

    用于指定每个Executor进程可以使用的CPU核心数量。默认值为1 CPU。

    spark.executor.memory

    用于指定每个Executor进程可以使用的内存量。默认值为3.5 GB。

    spark.executor.instances

    Spark分配的执行器(Executor)数量。默认值为2。

    动态资源分配

    默认关闭。开启后,需要配置以下参数:

    • executors数量下限:默认为2。

    • executors数量上限:如果未设置spark.executor.instances,则默认值为10。

    更多内存配置(点击展开)

    • spark.driver.memoryOverhead:每个Driver可利用的非堆内存。默认值为1 GB。

    • spark.executor.memoryOverhead:每个Executor可利用的非堆内存。默认值为1 GB。

    • spark.memory.offHeap.size:Spark可用的堆外内存大小。默认值为1 GB。

      仅在spark.memory.offHeap.enabled设置为true时生效。默认情况下,当采用Fusion Engine时,该功能将处于启用状态,其非堆内存默认设置为1 GB。

    Spark配置

    填写Spark配置信息,默认以空格符分隔,例如,spark.sql.catalog.paimon.metastore dlf

  4. 单击新建SQL Compute操作列的启动

相关文档

  • 本页导读 (1)