EMR-5.4.x版本说明

版本

日期

EMR-5.4.3

2021年12月

EMR-5.4.2

2021年12月

EMR-5.4.1

2021年11月

EMR-5.4.0

2021年10月

服务

变更点

SmartData

• 升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。
• 支持OSS基于Kerberos和Ranger的认证和授权管理。

服务

变更点

SmartData

升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。

Oozie

修复了HA情况下Oozie的Jetty Server依赖JAR包冲突，导致Jetty Server无法启动的问题。

Impala

修复了查询DLF元数据表时提示no such method error的问题。

DLF-Auth

升级DLF-Auth至1.0.1版本。

服务

变更点

SmartData

升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。

Spark

• 升级Spark至3.1.2版本。

• Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。
• 修复了AQE在Stats缺失情况下数组越界的问题。
• 修复了AQE和Cache在特定场景下报错的问题。

Hive

Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。

Presto

Delta表支持StorageHandler查询。

DeltaLake

• 升级DeltaLake至1.0.0版本。

• 统一Hive 2和Hive 3的delta-connectors。

• 修复了delta-connectors查询多级分区表时的报错问题。

• 支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。

• 支持同步Meta到MetaStore。

Hudi

• 升级Hudi至0.9.0版本。
• 修复了DeltaLake和Hudi的sql.extension的兼容性问题。

HDFS

NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。

Storm

组件下线。

Zeppelin

升级Zeppelin至社区0.10.0版本。

Hue

• 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。

• 默认配置中放开YARN Job Browser。

• 默认配置中支持Presto协议。

Druid

ClickHouse

• 更新了默认配置。

• 支持集群扩容。

• 支持MetaChecker功能。

• 支持OSS表引擎和OSS表函数读数据。

Iceberg

• 升级Iceberg至0.12.0-1.0.1版本。

• 修改了Hive Runtime依赖报错问题。

Knox

DLF-Auth