阿里云E-MapReduce产品构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,做了大量优化。本文为您介绍E-MapReduce(简称EMR)Spark相对开源增强的功能。
背景信息
阿里云EMR 100%采用社区开源组件,随开源版本升级迭代,基于开源组件,优化和增强阿里云部署环境。
功能增强
Spark针对开源功能增强的功能如下表。
EMR版本 | 组件版本 | 功能增强 |
---|---|---|
EMR-5.2.1 | Spark 3.1.1 |
|
EMR-4.9.0 | Spark 2.4.7 |
|
EMR-4.8.0 | Spark 2.4.7 |
|
EMR-4.6.0 | Spark 2.4.7 |
|
EMR-4.5.0 | Spark 2.4.5 | 支持数据湖构建(DLF)元数据。 |
EMR-4.4.0 | Spark 2.4.5 |
|
EMR-4.3.0 | Spark 2.4.5 |
|
EMR-3.36.1 | Spark 2.4.7 |
|
EMR-3.35.0 | Spark 2.4.7 |
|
EMR-3.34.0 | Spark 2.4.7 |
|
EMR-3.33.0 | Spark 2.4.7 |
|
EMR-3.32.0 | Spark 2.4.5 | JindoTable支持打开或关闭数据采集功能。 |
EMR-3.30.0 | Spark 2.4.5 |
|
EMR-3.29.0 | Spark 2.4.5 |
|
EMR-3.28.0 | Spark 2.4.5 |
|
EMR-3.27.2 | Spark 2.4.3 |
|
EMR-3.26.3 | Spark 2.4.3 | 配置默认的committer为JindoOssCommitter。 |
EMR-3.25.0 | Spark 2.4.3 |
|
EMR-3.24.0 | Spark 2.4.3 |
|
EMR-3.23.0 | Spark 2.4.3 |
|
EMR-3.22.1版本 | Spark 2.4.3 |
|