EMR-5.4.x版本的发布信息和更新内容_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本	日期
EMR-5.4.3	2021年12月
EMR-5.4.2	2021年12月
EMR-5.4.1	2021年11月
EMR-5.4.0	2021年10月

更新内容

EMR-5.4.3

修复了所有相关组件的Log4j安全漏洞，详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。

服务	变更点
Presto	修复了Elasticsearch连接器的Log4j漏洞。
DLF Metastore	将Metastore log默认开启改为关闭。修复了Metastore gettablestats URI超长出错的问题。
Delta Lake	修复了变更Schema同步到Metastore的问题。
Sqoop	修复了Sqoop导入HCatalog表时，Decimal类型精度丢失的问题。

EMR-5.4.2

服务	变更点
SmartData	升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。支持OSS基于Kerberos和Ranger的认证和授权管理。

EMR-5.4.1

服务	变更点
SmartData	升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。
Oozie	修复了HA情况下Oozie的Jetty Server依赖JAR包冲突，导致Jetty Server无法启动的问题。
Impala	修复了查询DLF元数据表时提示`no such method error`的问题。
DLF-Auth	升级DLF-Auth至1.0.1版本。

EMR-5.4.0

服务	变更点
SmartData	升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。
Spark	升级Spark至3.1.2版本。 Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。修复了AQE在Stats缺失情况下数组越界的问题。修复了AQE和Cache在特定场景下报错的问题。
Hive	Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。
Presto	Delta表支持StorageHandler查询。
DeltaLake	升级DeltaLake至1.0.0版本。统一Hive 2和Hive 3的delta-connectors。修复了delta-connectors查询多级分区表时的报错问题。支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。支持同步Meta到MetaStore。
Hudi	升级Hudi至0.9.0版本。修复了DeltaLake和Hudi的sql.extension的兼容性问题。说明支持Spark 3.1.2版本。
HDFS	NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。
Storm	组件下线。
Zeppelin	升级Zeppelin至社区0.10.0版本。
Hue	修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。默认配置中放开YARN Job Browser。默认配置中支持Presto协议。
Druid	修复了服务器掉电时Pid文件残留，导致节点重启失败的问题。
ClickHouse	更新了默认配置。支持集群扩容。支持MetaChecker功能。支持OSS表引擎和OSS表函数读数据。
Iceberg	升级Iceberg至0.12.0-1.0.1版本。修改了Hive Runtime依赖报错问题。
Knox	修复了Spark Task第一次访问时失败的问题。
DLF-Auth	新增组件。支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0，详情请参见DLF-Auth。

发行版本信

Hadoop集群

服务	版本
HDFS	3.2.1
YARN	3.2.1
Hive	3.1.2
Spark	3.1.2
Knox	1.1.0
Tez	0.9.2
Ganglia	3.7.2
Sqoop	1.4.7
SmartData	EMR-5.4.0版本：3.7.2 EMR-5.4.1版本：3.7.3 EMR-5.4.2版本：3.8.0
Bigboot	EMR-5.4.0版本：3.7.2 EMR-5.4.1版本：3.7.3 EMR-5.4.2版本：3.8.0
Iceberg	0.12.0
DLF-Auth	1.0.0
Hudi	0.9.0
DeltaLake	1.0.0
OpenLDAP	2.4.44
Hue	4.9.0
HBase	2.3.4
Zookeeper	3.6.3
Presto	338
Impala	3.4.0
Zeppelin	0.10.0
Flume	1.9.0
Livy	0.7.1
Superset	0.36.0
Ranger	2.1.0
ESS	1.2.0
Alluxio	2.5.0
Kudu	1.14.0
Oozie	5.2.1

Kafka集群

服务	版本
Zookeeper	3.6.3
Ganglia	3.7.2
Kafka	2.4.1
Kafka-Manager	1.3.3.16
OpenLDAP	2.4.44
knox	1.1.0
Ranger	2.1.0

ClickHouse集群

服务	版本
Zookeeper	3.6.3
Ganglia	3.7.2
Clickhouse	21.3.13.9