EMR-3.42.x版本说明

本文介绍EMR-3.42.x版本的发布日期、更新内容和发行版本信息。

发布日期

EMR-3.42.0 2022年8月5日

更新内容

服务

变更点

Hive

支持一键对接LDAP。

Presto

  • 升级至社区389版本。

    使用社区提供的Delta Lake和Hudi独立连接器。

    • 此版本Delta Lake连接器暂不支持Time Travel和Z-Order。

    • 此版本Hudi连接器暂不支持查询MOR表。

  • 支持一键对接LDAP。

DeltaLake

  • 对接了DLF自动化湖表管理。

  • 支持Ranger鉴权。

  • 修复了timestamp字段无法收集统计信息的问题。

  • 支持optimize和vacuum命令返回指标信息。

Hudi

升级至0.11.1版本。

HadoopCommon

新增组件,解决HDFS、YARN和JindoSDK配置相互覆盖的问题。

YARN

弹性功能增强。

Ranger

  • 同时支持Spark2和Spark3。

  • 支持Ranger Usersync一键对接LDAP。

Kafka

CruiseControl启动时会自动创建相关的Topic。

HBase

新增组件,版本为1.4.9。

Phoenix

新增组件,版本为4.14.1。

Doris

升级至1.1.1版本。

StarRocks

升级至2.2.3版本。

ClickHouse

修复了读OSS大文件时内存溢出的问题。

发行版本信息

DataLake集群

服务

版本

HDFS

2.8.5

YARN

2.8.5

Hive

2.3.9

Spark2

2.4.8

Spark3

3.2.1

TEZ

0.10.1

Presto

389

DeltaLake

0.6.1

Hudi

0.11.1

Iceberg

0.13.1

JindoData

4.4.1

Kyuubi

1.5.1

Knox

1.5.0

Impala

3.4.0

OpenLDAP

2.4.44

Ranger

1.2.0

Sqoop

1.4.7

DLF-Auth

2.0.0

Zookeeper

3.6.3

OLAP集群

服务

版本

Zookeeper

3.6.3

ClickHouse

21.8.15.7

Doris

1.1.1

StarRocks

2.2.3

DataFlow集群

服务

版本

HDFS

2.8.5

YARN

2.8.5

Knox

1.5.0

OpenLDAP

2.4.44

Zookeeper

3.6.3

Flink

1.13-vvr-4.0.13

Kafka

2.12-2.4.1

Kafka-Manager

2.0.0.2

DataServing集群

服务

版本

HDFS

2.8.5

JindoData

4.4.2

Zookeeper

3.6.3

HBase

2.3.4

Phoenix

5.1.2