本文介绍EMR-3.34.x版本的发布日期和更新内容信息。

发布日期

EMR-3.34.0 2021年3月15日

更新内容

服务变更点
SmartData升级至3.4.0版本。

版本详情,请参见SmartData 3.4.x版本简介

Spark
  • 优化了部分默认配置。
  • 性能优化:支持Window TopK下推。
  • 增强Hive读写CSV或JSON表的兼容性。
  • ANALYZE语句支持省略全表列名。
  • 支持一键开启或关闭LDAP功能。
  • 改进Spark Beeline工具的易用性。
Hive
  • 优化了部分默认配置。
  • 性能优化:增强CBO。
  • 支持一键开启或关闭LDAP功能。
  • 升级Calcite版本至1.12.0。
  • 增加参数hive.security.authorization.sqlstd.confwhitelist.append
Presto支持一键开启或关闭LDAP功能。
YARN修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN WebUI时,需要在URL里显式指定user.name=name的问题。
Zookeeper升级至3.6.2版本。
Flink初始化时更新config.sh文件,修复HADOOP_CLASSPATH的问题。
Impala
  • 升级Impala至3.4.0版本。
  • 升级Shiro至1.7.0版本。
  • 支持DLF元数据。
  • 支持查询Delta格式的数据。
  • 支持一键开启或关闭LDAP功能。
Tez优化了默认配置。
HAS修复在HAS的install流程中产生错误后admin.keytab无法重新init问题。
Ranger
  • 修复Spark中Filter函数的下推问题。
  • 修复Ranger Disable Presto后,Presto无法启动的问题。
  • 支持一键开启或关闭LDAP功能。
Knox修复Druid 0.20.0版本Knox链接的问题。
Hue支持一键开启或关闭LDAP功能。
Hudi
  • 支持SQL on Hudi功能。
  • 修复了查询部分数据时准确性的问题。
  • 在Spark查询Hudi的Copy On Write表时,支持分区裁剪。
  • 支持分桶索引机制,提高写入性能。
Delta Lake
  • 修复基于已存在Delta表无法同步元数据至Hive Metastore的问题。
  • 修复Merge命令无法解析*的问题。
  • 修复基于Parquet格式的数据转换成Delta表,且创建表元数据时报错的问题。
  • 修复当没有待compact的文件时,执行Optimize命令异常的问题。
  • 支持Merge语法使用子查询作为source命令。
  • 使用Presto查询Delta表时,引入缓存机制,以提升查询效率。
  • 支持Impala查询Delta表。
Superset
  • 修复admin用户无法登录Web UI的问题。
  • 数据集兼容Druid集群模式。
  • 不再支持SparkSQL数据集。
Sqoop支持导入Parquet格式的文件至OSS。
Alluxio升级至2.4.1版本。
PhoenixHive on Phoenix支持字段设置。
Pig已移除。