EMR-4.8.x版本说明

本文介绍EMR-4.8.x发行版本的发布日期和更新内容信息。

发布日期

EMR-4.8.0 2021年3月15日

更新内容

服务

变更点

SmartData

升级至3.4.0版本。

版本详情,请参见SmartData 3.4.x版本简介

Spark

  • 优化了部分默认配置。

  • 性能优化:支持Window TopK下推。

  • 增强Hive读写CSV或JSON表的兼容性。

  • ANALYZE语句支持省略全表列名。

  • 支持一键开启或关闭LDAP功能。

  • 改进Spark Beeline工具的易用性。

Hive

  • 优化了部分默认配置。

  • 性能优化:增强CBO。

  • 支持一键开启或关闭LDAP功能。

YARN

修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN Web UI时,需要在URL里显式指定user.name=name的问题。

Tez

优化了默认配置。

Ranger

  • 修复Spark中Filter函数的下推问题。

  • 修复Ranger Disable Presto后,Presto无法启动的问题。

  • 支持一键开启或关闭LDAP功能。

Hue

支持一键开启或关闭LDAP功能。

Impala

  • 升级Impala至3.4.0版本。

  • 升级Shiro至1.7.0版本。

  • 支持DLF元数据。

  • 支持查询Delta格式的数据。

  • 支持一键开启或关闭LDAP功能。

  • 修复数据存储在OSS时,使用INSERT OVERWRITE命令的问题。

Hudi

  • 支持SQL on Hudi功能。

  • 修复了查询部分数据时准确性的问题。

  • 在Spark查询Hudi的Copy On Write表时,支持分区裁剪。

  • 支持分桶索引机制,提高写入性能。

Delta Lake

  • 修复基于已存在Delta表无法同步元数据至Hive MetaStore的问题。

  • 修复Merge命令无法解析*的问题。

  • 修复基于Parquet格式的数据转换成Delta表,且创建表元数据时报错的问题。

  • 修复当没有待compact的文件时,执行Optimize命令异常的问题。

  • 支持Merge语法使用子查询作为Source命令。

  • 使用Presto查询Delta表时,引入缓存机制,以提升查询效率。

  • 支持Impala查询Delta表。

ESS

  • 修复在Shuffle read阶段,出现closed channel异常、IndexOutOfBounds异常或堆外内存使用过多的问题。

  • 修复开启Metrics之后,出现NPE异常的问题。

HAS

修复在HAS install流程产生了错误后admin.keytab无法重新init问题

Presto

支持一键开启或关闭LDAP功能。

HBase

  • 升级至2.2.6版本。

  • 不再支持Ranger的权限控制。

Sqoop

支持导入Parquet格式的文件至OSS。

Superset

  • 修复admin用户无法登录Web UI的问题。

  • 数据集兼容Druid集群模式。

  • 不再支持SparkSQL数据集。

Knox

  • 支持通过Knox访问Presto。

  • 修复无法访问Druid Web UI的问题。

  • 取消HTTP仅限制使用高安全Knox访问Ranger UI的限制。

发行版本信息

Hadoop集群

服务

版本

HDFS

3.2.1

YARN

3.2.1

Hive

3.1.2

Spark

2.4.7

Knox

1.1.0

Tez

0.9.2

Ganglia

3.7.2

Sqoop

1.4.7

SmartData

3.4.0

Bigboot

3.4.0

Hudi

0.6.0

OpenLDAP

2.4.44

Hue

4.4.0

HBase

2.3.4

Zookeeper

3.5.6

Presto

338

Impala

3.4.0

Zeppelin

0.9.0

Flume

1.9.0

Livy

0.6.0

Superset

0.36.0

Ranger

2.1.0

Flink

1.10-vvr-1.0.2

Storm

1.2.2

Alluxio

2.4.1

ESS

1.0.0

Kudu

1.11.1

Oozie

5.1.0

Shuffle Service集群

服务

版本

ESS

1.0.0

Kafka集群

服务

版本

Zookeeper

3.5.6

Ganglia

3.7.2

Kafka

2.4.1

Kafka-Manager

1.3.3.16

OpenLDAP

2.4.44

Knox

1.1.0

Ranger

2.1.0