EMR-5.17.x版本说明

本文介绍5.17.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本

日期

EMR-5.17.4

2024年12月18日

EMR-5.17.3

2024年11月29日

EMR-5.17.2

2024年08月29日

EMR-5.17.1

2024年06月21日

EMR-5.17.0

2024年04月23日

更新内容

EMR-5.17.4

服务

变更点

JindoCache

升级至6.5.3版本。

StarRocks2

升级至2.5.22版本。

StarRocks3

升级至3.2.11版本。

EMR-5.17.3

服务

变更点

JindoSDK

升级JindoSDK以解决死锁问题。

EMR-5.17.2

服务

变更点

JindoCache

  • 升级至6.5.1版本。

  • 提升DHT(Distributed Hash Table)的读写性能。

Spark

  • 修复了无法删除分区目录的问题。

  • 修复了Hive包依赖问题,确保客户端操作不中断与metaStoreClient的连接。

Trino

  • 修复了扩容过程中可能导致部分已修改配置意外恢复的问题。

  • 支持查询高安全OSS-HDFS上的数据。

  • 修复启用DLF-AUTH后服务异常的问题。

Presto

支持查询高安全OSS-HDFS上的数据。

HDFS

解决了无法修改NameNode和DataNode内存的问题。

HBaseHDFS

YARN

  • ResourceManager支持批量发送timeline事件,提升了处理能力。

  • 修复了ResourceManager中容器和资源处理的逻辑问题。

Zookeeper

  • 解决了无法修改节点组内存配置的问题。

  • 支持重构日志配置文件。

Impala

修复了弹性扩容时修改客户配置的问题。

Ranger

支持新版JindoSDK内核,有效降低了CPU使用率。

Knox

修复了仅有一个Master-Extend时组件URL访问失效的问题。

Kafka

修复了Kafka Connect集群启动的问题。

StarRocks

修复了扩容后看不到新增BE的问题。

Doris

升级至2.1.4版本。

Paimon

升级至0.9-ali-7版本。

EMRHOOK

支持解析MaxCompute表的血缘数据。

EMR-5.17.1

服务

变更点

Spark

支持部署Master-Extend节点组。

Hive

Kyuubi

Paimon

将Flink依赖从VVR版本替换为社区版,并支持DLF Catalog。

Knox

使用JDK 8进行打包。

Flink

已恢复在EMR-5.17.0中移除的DLF配置和依赖项。

EMR-5.17.0

服务

变更点

Spark

Spark3升级至3.4.2版本。

Celeborn

升级至0.4.0版本。

Doris

升级至2.1.0版本。

StarRocks

  • StarRocks2升级至2.5.18版本。

  • StarRocks3升级至3.2.4版本。

DeltaLake

升级至3.0.0版本。

Iceberg

升级至1.5.0版本。

Zookeeper

升级至3.8.4版本。

JindoCache

升级至6.2.5版本。

Flink

升级至1.17.2版本。

发行版本信息

DataLake集群

服务

版本

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.4.2

Tez

0.10.2

Trino

422

DeltaLake

3.0.0

Hudi

0.14.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.7.3

YARN

3.2.1

Impala

4.3.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0.283

Zookeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.4.0

JindoCache

  • EMR-5.17.4:6.5.3

  • EMR-5.17.3和EMR-5.17.2:6.5.1

  • EMR-5.17.1和EMR-5.17.0:6.2.5

Paimon

  • EMR-5.17.2至EMR-5.17.4:0.9-ali-7

  • EMR-5.17.1和EMR-5.17.0:0.7-ali-1

OLAP集群

服务

版本

StarRocks2

  • EMR-5.17.4:2.5.22

  • EMR-5.17.1至EMR-5.17.3:2.5.18

StarRocks3

  • EMR-5.17.4:3.2.11

  • EMR-5.17.1至EMR-5.17.3:3.2.4

Doris

  • EMR-5.17.2至EMR-5.17.4:2.1.4

  • EMR-5.17.1和EMR-5.17.0:2.1.0

ClickHouse

23.3.13.6

Zookeeper

3.8.4

DataFlow集群

服务

版本

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

YARN

3.2.1

OpenLDAP

2.4.46

Zookeeper

3.8.4

Knox

1.5.0

Flink

1.17.2

Kafka

2.13_3.6.1

Kafka-Manager

3.0.0.6

Paimon

  • EMR-5.17.2至EMR-5.17.4:0.9-ali-7

  • EMR-5.17.1和EMR-5.17.0:0.7-ali-1

DataServing集群

服务

版本

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

Zookeeper

3.8.4

Knox

1.5.0

HBase

2.4.9

JindoCache

  • EMR-5.17.4:6.5.3

  • EMR-5.17.3和EMR-5.17.2:6.5.1

  • EMR-5.17.1和EMR-5.17.0:6.2.5

Phoenix

5.1.2

自定义集群

服务

版本

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.4.2

Tez

0.10.2

Trino

422

DeltaLake

3.0.0

Hudi

0.14.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.7.3

YARN

3.2.1

Impala

4.3.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0.283

StarRocks2

  • EMR-5.17.4:2.5.22

  • EMR-5.17.1至EMR-5.17.3:2.5.18

StarRocks3

  • EMR-5.17.4:3.2.11

  • EMR-5.17.1至EMR-5.17.3:3.2.4

Zookeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.4.0

Flink

1.17.2

HBase

2.4.9

JindoCache

  • EMR-5.17.4:6.5.3

  • EMR-5.17.3和EMR-5.17.2:6.5.1

  • EMR-5.17.1和EMR-5.17.0:6.2.5

Kudu

1.16.0

Paimon

  • EMR-5.17.2至EMR-5.17.4:0.9-ali-7

  • EMR-5.17.1和EMR-5.17.0:0.7-ali-1

Phoenix

5.1.2