配置Spark SQL任务参数

参数名称

参数默认值

描述

spark.executor.instances

1

静态分配的执行器数量。

spark.executor.cores

1

每个执行器上使用的核心数量。

spark.executor.memory

1G

执行程序进程使用的内存量。

spark.yarn.am.memory

512M

客户端模式下YARN Application Master使用的内存量。

spark.yarn.am.memoryOverhead

-

在客户端模式下为每个AM进程分配的非堆内存量。

spark.driver.memory

1G

驱动程序进程使用的内存量。

spark.driver.memoryOverhead

-

集群模式下每个驱动程序进程分配的非堆内存量。

spark.executor.memoryOverhead

-

每个执行程序进程要分配的额外内存量。适用于虚拟机开销、内部字符串和其他本机开销等的内存。

参数名称

描述

livy.session.driverMemory

驱动程序进程使用的内存量。

livy.session.driverCores

用于驱动程序进程的核心数。

livy.session.executorMemory

每个执行程序进程使用的内存量。

livy.session.executorCores

每个执行器使用的核心数。

livy.session.numExecutors

本次会话启动的执行器数量。