SmartData | 升级至3.4.0版本。 版本详情,请参见SmartData 3.4.x版本简介。 |
Spark | - 优化了部分默认配置。
- 性能优化:支持Window TopK下推。
- 增强Hive读写CSV或JSON表的兼容性。
- ANALYZE语句支持省略全表列名。
- 支持一键开启或关闭LDAP功能。
- 改进Spark Beeline工具的易用性。
|
Hive | - 优化了部分默认配置。
- 性能优化:增强CBO。
- 支持一键开启或关闭LDAP功能。
- 升级Calcite版本至1.12.0。
- 增加参数hive.security.authorization.sqlstd.confwhitelist.append。
|
Presto | 支持一键开启或关闭LDAP功能。 |
YARN | 修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN WebUI时,需要在URL里显式指定user.name=name的问题。 |
Zookeeper | 升级至3.6.2版本。 |
Flink | 初始化时更新config.sh文件,修复HADOOP_CLASSPATH的问题。 |
Impala | - 升级Impala至3.4.0版本。
- 升级Shiro至1.7.0版本。
- 支持DLF元数据。
- 支持查询Delta格式的数据。
- 支持一键开启或关闭LDAP功能。
|
Tez | 优化了默认配置。 |
HAS | 修复在HAS的install流程中产生错误后admin.keytab无法重新init问题。 |
Ranger | - 修复Spark中Filter函数的下推问题。
- 修复Ranger Disable Presto后,Presto无法启动的问题。
- 支持一键开启或关闭LDAP功能。
|
Knox | 修复Druid 0.20.0版本Knox链接的问题。 |
Hue | 支持一键开启或关闭LDAP功能。 |
Hudi | - 支持SQL on Hudi功能。
- 修复了查询部分数据时准确性的问题。
- 在Spark查询Hudi的Copy On Write表时,支持分区裁剪。
- 支持分桶索引机制,提高写入性能。
|
Delta Lake | - 修复基于已存在Delta表无法同步元数据至Hive Metastore的问题。
- 修复Merge命令无法解析
* 的问题。 - 修复基于Parquet格式的数据转换成Delta表,且创建表元数据时报错的问题。
- 修复当没有待compact的文件时,执行Optimize命令异常的问题。
- 支持Merge语法使用子查询作为source命令。
- 使用Presto查询Delta表时,引入缓存机制,以提升查询效率。
- 支持Impala查询Delta表。
|
Superset | - 修复admin用户无法登录Web UI的问题。
- 数据集兼容Druid集群模式。
- 不再支持SparkSQL数据集。
|
Sqoop | 支持导入Parquet格式的文件至OSS。 |
Alluxio | 升级至2.4.1版本。 |
Phoenix | Hive on Phoenix支持字段设置。 |
Pig | 已移除。 |