引擎版本介绍

阿里云EMR Serverless Spark采用的是基于Apache Spark引擎。本文为您详细介绍引擎版本号及其含义。

引擎版本号及其含义

引擎版本的格式为esr-** (Spark **, Scala **)。Spark应用在标准的Java虚拟机(JVM)上运行,所有Spark任务都是通过Java或Scala代码执行。

说明

您可以使用阿里云Fusion Engine提供的运行时环境,利用向量化和原生库等技术来加速SQL类应用的执行性能。Fusion引擎详情请参见Fusion引擎

内容

含义

esr-**

EMR Serverless Spark版本号,例如esr-2.1。

Spark **

遵循的Apache Spark引擎版本号,例如Spark 3.3.1,表示基于Apache Spark 3.3.1构建。

Scala **

表示该引擎版本所支持的Scala编程语言的版本,例如Scala 2.12。

以下为您介绍目前已有引擎版本及其对应的湖表格式版本。

引擎版本

湖表格式版本

esr-4.0.0 (Spark 3.5.2, Scala 2.12)

  • Delta 3.2.1

  • Hudi 0.15

  • Iceberg 1.5.0

  • Paimon 1.0 (Snapshot版本,Commit ID:5e990661)

esr-3.0.1 (Spark 3.4.3, Scala 2.12)

esr-3.0.0 (Spark 3.4.3, Scala 2.12)

  • Delta 3.0.0

  • Hudi 0.15

  • Iceberg 1.5.0

  • Paimon 1.0 (Snapshot版本,Commit ID:f3823cde)

esr-2.4.1 (Spark 3.3.1, Scala 2.12)

esr-2.4.0 (Spark 3.3.1, Scala 2.12)

  • Delta 2.2.0

  • Hudi 0.14

  • Iceberg 1.1.0

  • Paimon 1.0 (Snapshot版本,Commit ID:f3823cde)

esr-2.2.2 (Spark 3.3.1, Scala 2.12)

  • Delta 2.2.0

  • Hudi 0.14

  • Iceberg 1.1.0

  • Paimon 0.9 (Snapshot版本,Commit ID:70984bf9)

esr-2.2 (Spark 3.3.1, Scala 2.12)

esr-2.1 (Spark 3.3.1, Scala 2.12)

esr-1.0 (Spark 2.4.7, Scala 2.11)

-