管理默认配置

参数

说明

引擎版本

当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。

spark.driver.cores

用于指定Spark应用程序中Driver进程所使用的CPU核心数量。

spark.driver.memory

用于指定Spark应用程序中Driver进程可以使用的内存量。

spark.executor.cores

用于指定每个Executor进程可以使用的CPU核心数量。

spark.executor.memory

用于指定每个Executor进程可以使用的内存量。

spark.executor.instances

Spark分配的执行器（Executor）数量。

动态资源分配

更多内存配置

• spark.driver.memoryOverhead：每个Driver可利用的非堆内存。如果未设置该参数，Spark会根据默认值自动分配，默认值为 max（384MB, 10% × spark.driver.memory）。

• spark.executor.memoryOverhead：每个Executor可利用的非堆内存。如果未设置该参数，Spark会根据默认值自动分配，默认值为 max（384MB, 10% × spark.executor.memory）。

• spark.memory.offHeap.size：Spark可用的堆外内存大小。默认值为1 GB。

  仅在spark.memory.offHeap.enabled设置为true时生效。默认情况下，当采用Fusion Engine时，该功能将处于启用状态，其非堆内存默认设置为1 GB。

Spark配置

填写Spark配置信息，默认以空格符分隔，例如，spark.sql.catalog.paimon.metastore dlf。