本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本 日期
EMR-5.4.3 2021年12月
EMR-5.4.2 2021年12月
EMR-5.4.1 2021年11月
EMR-5.4.0 2021年10月

更新内容

  • EMR-5.4.3
    修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞
    服务 变更点
    Presto 修复了Elasticsearch连接器的Log4j漏洞。
    DLF Metastore
    • 将Metastore log默认开启改为关闭。
    • 修复了Metastore gettablestats URI超长出错的问题。
    Delta Lake 修复了变更Schema同步到Metastore的问题。
    Sqoop 修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。
  • EMR-5.4.2
    服务 变更点
    SmartData
    • 升级SmartData至3.8.0版本,详情请参见SmartData 3.8.x版本简介
    • 支持OSS基于Kerberos和Ranger的认证和授权管理。
  • EMR-5.4.1
    服务 变更点
    SmartData 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介
    Oozie 修复了HA情况下Oozie的Jetty Server依赖JAR包冲突,导致Jetty Server无法启动的问题。
    Impala 修复了查询DLF元数据表时提示no such method error的问题。
    DLF-Auth 升级DLF-Auth至1.0.1版本。
  • EMR-5.4.0
    服务 变更点
    SmartData 升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介
    Spark
    • 升级Spark至3.1.2版本。
    • Spark 3.x系列,SparkSQL优化了Distinct计算性能,即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。
    • 修复了AQE在Stats缺失情况下数组越界的问题。
    • 修复了AQE和Cache在特定场景下报错的问题。
    Hive Hive on JindoFS(Block)支持批量元数据优化功能,默认未开启。
    Presto Delta表支持StorageHandler查询。
    DeltaLake
    • 升级DeltaLake至1.0.0版本。
    • 统一Hive 2和Hive 3的delta-connectors。
    • 修复了delta-connectors查询多级分区表时的报错问题。
    • 支持多个功能的SQL语法。例如,DataSkipping、Optimize和Zorder。
    • 支持同步Meta到MetaStore。
    Hudi
    • 升级Hudi至0.9.0版本。
    • 修复了DeltaLake和Hudi的sql.extension的兼容性问题。
    说明 支持Spark 3.1.2版本。
    HDFS NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。
    Storm 组件下线。
    Zeppelin 升级Zeppelin至社区0.10.0版本。
    Hue
    • 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。
    • 默认配置中放开YARN Job Browser。
    • 默认配置中支持Presto协议。
    Druid 修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。
    ClickHouse
    • 更新了默认配置。
    • 支持集群扩容,详情请参见扩容ClickHouse集群
    • 支持MetaChecker功能。
    • 支持OSS表引擎和OSS表函数读数据。
    Iceberg
    • 升级Iceberg至0.12.0-1.0.1版本。
    • 修改了Hive Runtime依赖报错问题。
    Knox 修复了Spark Task第一次访问时失败的问题。
    DLF-Auth 新增组件。

    支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0,详情请参见DLF-Auth

发行版本信息

服务 版本
HDFS 3.2.1
YARN 3.2.1
Hive 3.1.2
Spark 3.1.2
Knox 1.1.0
Tez 0.9.2
Ganglia 3.7.2
Sqoop 1.4.7
SmartData
EMR-5.4.0版本:3.7.2
EMR-5.4.1版本:3.7.3
EMR-5.4.2版本:3.8.0
Bigboot
Iceberg 0.12.0
DLF-Auth 1.0.0
Hudi 0.9.0
DeltaLake 1.0.0
OpenLDAP 2.4.44
Hue 4.9.0
HBase 2.3.4
Zookeeper 3.6.3
Presto 338
Impala 3.4.0
Zeppelin 0.10.0
Flume 1.9.0
Livy 0.7.1
Superset 0.36.0
Ranger 2.1.0
ESS 1.2.0
Alluxio 2.5.0
Kudu 1.14.0
Oozie 5.2.1
服务 版本
Zookeeper 3.6.3
Ganglia 3.7.2
Kafka 2.4.1
Kafka-Manager 1.3.3.16
OpenLDAP 2.4.44
knox 1.1.0
Ranger 2.1.0
服务 版本
Zookeeper 3.6.3
Ganglia 3.7.2
Clickhouse 21.3.13.9