阿里云EMR Serverless Spark是基于Apache Spark引擎构建的无服务器化大数据处理服务。Spark应用在标准的Java虚拟机（JVM）上运行，所有Spark任务都是通过Java或Scala代码执行。
引擎版本号及其含义
引擎版本的格式为esr-** (Spark **, Scala **)。
您可以使用阿里云Fusion Engine提供的运行时环境，利用向量化和原生库等技术来加速SQL类应用的执行性能。Fusion引擎详情请参见Fusion引擎。
内容 | 含义 |
esr-** | EMR Serverless Spark版本号，例如esr-2.1。 |
Spark ** | 遵循的Apache Spark引擎版本号，例如Spark 3.3.1，表示基于Apache Spark 3.3.1构建。 |
Scala ** | 表示该引擎版本所支持的Scala编程语言的版本，例如Scala 2.12。 |
引擎版本与湖表格式映射
下表中 - 表示该引擎版本未支持该组件。
5.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 | JDK版本 |
esr-5.1.0 | 4.0.1 | 2.13 | - | - | - | 1.3 | JDK 17 |
esr-5.0.0 | 4.0.1 | 2.13 | - | - | - | 1.3 | JDK 17 |
4.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 | JDK版本 |
esr-4.7.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.3 | JDK 17 |
esr-4.6.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.3 | JDK 17 |
esr-4.5.1 esr-4.5.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.2 | JDK 17 |
esr-4.4.1 esr-4.4.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-4.3.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-4.2.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.1.1 esr-4.1.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.0.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
3.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 | JDK版本 |
esr-3.6.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-3.5.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-3.4.1 esr-3.4.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-3.3.1 esr-3.3.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-3.2.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.1.1 esr-3.1.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.0.1 esr-3.0.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
2.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 | JDK版本 |
esr-2.9.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-2.8.1 esr-2.8.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-2.7.1 esr-2.7.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.1.0 | 1.1 | JDK 8 |
esr-2.6.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.5.1 esr-2.5.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.4.1 esr-2.4.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.2.3 esr-2.2.2 esr-2.2 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |
esr-2.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |
可能影响作业行为的默认参数调整
为提升性能与稳定性，EMR Serverless Spark 在引擎版本中对部分 Spark 默认配置进行了优化调整。这些调整可能导致作业行为与开源 Spark 不一致，请在使用前务必评估是否会影响您的业务逻辑。
esr版本 | 参数 | Serverless Spark默认值 | 开源Spark默认值 |
|
|
|
|
|
|
|