本文介绍EMR-4.8.x发行版本的发布日期和更新内容信息。

发布日期

EMR-4.8.0 2021年3月15日

更新内容

服务 变更点
SmartData 升级至3.4.0版本。

版本详情,请参见SmartData 3.4.x版本简介

Spark
  • 优化了部分默认配置。
  • 性能优化:支持Window TopK下推。
  • 增强Hive读写CSV或JSON表的兼容性。
  • ANALYZE语句支持省略全表列名。
  • 支持一键开启或关闭LDAP功能。

    开启或关闭LDAP功能详情,请参见管理LDAP认证

  • 改进Spark Beeline工具的易用性。
Hive
  • 优化了部分默认配置。
  • 性能优化:增强CBO。
  • 支持一键开启或关闭LDAP功能。

    开启或关闭LDAP功能详情,请参见管理LDAP认证

YARN 修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN Web UI时,需要在URL里显式指定user.name=name的问题。
Tez 优化了默认配置。
Ranger
  • 修复Spark中Filter函数的下推问题。
  • 修复Ranger Disable Presto后,Presto无法启动的问题。
  • 支持一键开启或关闭LDAP功能。

    开启或关闭LDAP功能详情,请参见管理LDAP认证

Hue 支持一键开启或关闭LDAP功能。

开启或关闭LDAP功能详情,请参见管理LDAP认证

Impala
  • 升级Impala至3.4.0版本。
  • 升级Shiro至1.7.0版本。
  • 支持DLF元数据。
  • 支持查询Delta格式的数据。
  • 支持一键开启或关闭LDAP功能。

    开启或关闭LDAP功能详情,请参见管理LDAP认证

  • 修复数据存储在OSS时,使用INSERT OVERWRITE命令的问题。
Hudi
  • 支持SQL on Hudi功能。
  • 修复了查询部分数据时准确性的问题。
  • 在Spark查询Hudi的Copy On Write表时,支持分区裁剪。
  • 支持分桶索引机制,提高写入性能。
Delta Lake
  • 修复基于已存在Delta表无法同步元数据至Hive MetaStore的问题。
  • 修复Merge命令无法解析*的问题。
  • 修复基于Parquet格式的数据转换成Delta表,且创建表元数据时报错的问题。
  • 修复当没有待compact的文件时,执行Optimize命令异常的问题。
  • 支持Merge语法使用子查询作为Source命令。
  • 使用Presto查询Delta表时,引入缓存机制,以提升查询效率。
  • 支持Impala查询Delta表。
ESS
  • 修复在Shuffle read阶段,出现closed channel异常、IndexOutOfBounds异常或堆外内存使用过多的问题。
  • 修复开启Metrics之后,出现NPE异常的问题。
HAS 修复在HAS install流程产生了错误后admin.keytab无法重新init问题
Presto 支持一键开启或关闭LDAP功能。

开启或关闭LDAP功能详情,请参见管理LDAP认证

HBase
  • 升级至2.2.6版本。
  • 不再支持Ranger的权限控制。
Sqoop 支持导入Parquet格式的文件至OSS。
Superset
  • 修复admin用户无法登录Web UI的问题。
  • 数据集兼容Druid集群模式。
  • 不再支持SparkSQL数据集。
Knox
  • 支持通过Knox访问Presto。
  • 修复无法访问Druid Web UI的问题。
  • 取消HTTP仅限制使用高安全Knox访问Ranger UI的限制。