EMR-3.51.x版本说明

本文介绍EMR-3.51.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本

日期

EMR-3.51.3

2024年11月29日

EMR-3.51.2

2024年08月29日

EMR-3.51.1

2024年06月21日

EMR-3.51.0

2024年04月23日

更新内容

EMR-3.51.3

服务

变更点

JindoSDK

升级JindoSDK以解决死锁问题。

EMR-3.51.2

服务

变更点

JindoCache

  • 升级至6.5.1版本。

  • 提升DHT(Distributed Hash Table)的读写性能。

Spark

  • 修复了无法删除分区目录的问题。

  • 修复了Hive包依赖问题,确保客户端操作不中断与metaStoreClient的连接。

Trino

  • 修复了扩容过程中可能导致部分已修改配置意外恢复的问题。

  • 支持查询高安全OSS-HDFS上的数据。

  • 修复启用DLF-AUTH后服务异常的问题。

Presto

支持查询高安全OSS-HDFS上的数据。

HDFS

解决了无法修改NameNode和DataNode内存的问题。

HBaseHDFS

YARN

  • ResourceManager支持批量发送timeline事件,提升了处理能力。

  • 修复了ResourceManager中容器和资源处理的逻辑问题。

Zookeeper

  • 解决了无法修改节点组内存配置的问题。

  • 支持重构日志配置文件。

Impala

修复了弹性扩容时修改客户配置的问题。

Ranger

支持新版JindoSDK内核,有效降低了CPU使用率。

Knox

修复了仅有一个Master-Extend时组件URL访问失效的问题。

Kafka

修复了Kafka Connect集群启动的问题。

StarRocks

修复了扩容后看不到新增BE的问题。

Doris

升级至2.1.4版本。

Paimon

升级至0.9-ali-7版本。

EMRHOOK

支持解析MaxCompute表的血缘数据。

EMR-3.51.1

服务

变更点

Spark

支持部署Master-Extend节点组。

Hive

Kyuubi

Paimon

将Flink依赖从VVR版本替换为社区版,并支持DLF Catalog。

Knox

使用JDK 8进行打包。

Flink

已恢复在EMR-3.51.0中移除的DLF配置和依赖项。

EMR-3.51.0

服务

变更点

Spark

Spark3升级至3.4.2版本。

Celeborn

升级至0.4.0版本。

Doris

升级至2.1.0版本。

StarRocks

  • StarRocks2升级至2.5.18版本。

  • StarRocks3升级至3.2.4版本。

DeltaLake

升级至3.0.0版本。

Iceberg

升级至1.5.0版本。

Zookeeper

升级至3.8.4版本。

JindoCache

升级至6.2.5版本。

Flink

升级至1.17.2版本。

发行版本信息

DataLake集群

服务

版本

Hadoop-Common

2.8.5

HDFS

2.8.5

OSS-HDFS

1.0.0

Hive

2.3.9

Spark2

2.4.8

Spark3

3.4.2

YARN

2.8.5

Trino

422

DeltaLake

3.0.0

Hudi

0.14.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.7.3

Tez

0.10.2

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

Sqoop

1.4.7

DLF-Auth

2.0.2

Presto

0.283

Zookeeper

3.8.4

Knox

1.5.0

Celeborn

0.4.0

JindoCache

6.2.5

Paimon

  • EMR-3.51.2:0.9-ali-7

  • EMR-3.51.1和EMR-3.51.0:0.7-ali-1

OLAP集群

服务

版本

StarRocks2

2.5.18

StarRocks3

3.2.4

Doris

  • EMR-5.17.2:2.1.4

  • EMR-5.17.1和EMR-3.51.0:2.1.0

ClickHouse

23.8.2.7

Zookeeper

3.8.4

DataFlow集群

服务

版本

Hadoop-Common

2.8.5

HDFS

2.8.5

OSS-HDFS

1.0.0

YARN

2.8.5

OpenLDAP

2.4.46

Ranger

2.3.0

Zookeeper

3.8.4

Knox

1.5.0

Flink

1.17.2

Kafka

2.12_2.4.1

Kafka-Manager

3.0.0.6

Paimon

  • EMR-3.51.2:0.9-ali-7

  • EMR-3.51.1和EMR-3.51.0:0.7-ali-1

DataServing集群

服务

版本

Hadoop-Common

2.8.5

HDFS

2.8.5

OSS-HDFS

1.0.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

Zookeeper

3.8.4

Knox

1.5.0

HBase

1.7.1

JindoCache

  • EMR-3.51.2:6.5.1

  • EMR-3.51.1和EMR-3.51.0:6.2.5

Phoenix

4.16.1

自定义集群

服务

版本

Hadoop-Common

2.8.5

HDFS

2.8.5

OSS-HDFS

1.0.0

Hive

2.3.9

Spark2

2.4.8

Spark3

3.4.2

YARN

2.8.5

Trino

422

DeltaLake

3.0.0

Hudi

0.14.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.7.3

Tez

0.10.2

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

Sqoop

1.4.7

DLF-Auth

2.0.2

Presto

0.283

StarRocks2

2.5.18

StarRocks3

3.2.4

Zookeeper

3.8.4

Knox

1.5.0

Celeborn

0.4.0

Flink

1.17.2

HBase

1.7.1

JindoCache

  • EMR-3.51.2:6.5.1

  • EMR-3.51.1和EMR-3.51.0:6.2.5

Kudu

1.16.0

Paimon

  • EMR-3.51.2:0.9-ali-7

  • EMR-3.51.1和EMR-3.51.0:0.7-ali-1

Phoenix

4.16.1