引擎版本介绍

阿里云EMR Serverless Spark是基于Apache Spark引擎构建的无服务器化大数据处理服务。Spark应用在标准的Java虚拟机(JVM)上运行,所有Spark任务都是通过JavaScala代码执行。

引擎版本号及其含义

引擎版本的格式为esr-** (Spark **, Scala **)

说明

您可以使用阿里云Fusion Engine提供的运行时环境,利用向量化和原生库等技术来加速SQL类应用的执行性能。Fusion引擎详情请参见Fusion引擎

内容

含义

esr-**

EMR Serverless Spark版本号,例如esr-2.1。

Spark **

遵循的Apache Spark引擎版本号,例如Spark 3.3.1,表示基于Apache Spark 3.3.1构建。

Scala **

表示该引擎版本所支持的Scala编程语言的版本,例如Scala 2.12。

引擎版本与湖表格式映射

4.x系列

引擎版本

Spark 版本

Scala 版本

Delta 版本

Hudi 版本

Iceberg 版本

Paimon 版本

esr-4.3.0

3.5.2

2.12

3.2.1

0.15

1.5.0

1.1

esr-4.2.0

3.5.2

2.12

3.2.1

0.15

1.5.0

1.0

esr-4.1.1

3.5.2

2.12

3.2.1

0.15

1.5.0

1.0

esr-4.1.0

3.5.2

2.12

3.2.1

0.15

1.5.0

1.0

esr-4.0.0

3.5.2

2.12

3.2.1

0.15

1.5.0

1.0

3.x系列

引擎版本

Spark 版本

Scala 版本

Delta 版本

Hudi 版本

Iceberg 版本

Paimon 版本

esr-3.3.0

3.4.3

2.12

3.0.0

0.15

1.5.0

1.1

esr-3.2.0

3.4.3

2.12

3.0.0

0.15

1.5.0

1.0

esr-3.1.1

3.4.3

2.12

3.0.0

0.15

1.5.0

1.0

esr-3.1.0

3.4.3

2.12

3.0.0

0.15

1.5.0

1.0

esr-3.0.1

3.4.3

2.12

3.0.0

0.15

1.5.0

1.0

esr-3.0.0

3.4.3

2.12

3.0.0

0.15

1.5.0

1.0

2.x系列

引擎版本

Spark 版本

Scala 版本

Delta 版本

Hudi 版本

Iceberg 版本

Paimon 版本

esr-2.7.0

3.3.1

2.12

2.2.0

0.15

1.1.0

1.1

esr-2.6.0

3.3.1

2.12

2.2.0

0.14

1.1.0

1.0

esr-2.5.1

3.3.1

2.12

2.2.0

0.14

1.1.0

1.0

esr-2.5.0

3.3.1

2.12

2.2.0

0.14

1.1.0

1.0

esr-2.4.1

3.3.1

2.12

2.2.0

0.14

1.1.0

1.0

esr-2.4.0

3.3.1

2.12

2.2.0

0.14

1.1.0

1.0

esr-2.2.3

3.3.1

2.12

2.2.0

0.14

1.1.0

0.9

esr-2.2.2

3.3.1

2.12

2.2.0

0.14

1.1.0

0.9

esr-2.2

3.3.1

2.12

2.2.0

0.14

1.1.0

0.9

esr-2.1

3.3.1

2.12

2.2.0

0.14

1.1.0

0.9