EMR-3.23.x版本说明

服务

变更点

Druid

• 升级至0.15.1。

• 增加router组件。

• 升级fastjson。

Spark

• 更新spark thriftserver，解决class loader问题。

• 重构spark事务相关代码，提升稳定性。

• 解决升builtin hive至2.3版本后orc格式读写问题。

• 支持merge into语法。

• 支持scan和stream语法。

• Structured Streaming Kafka sink支持EOS。

• delta更新至0.4.0。

Hive

• 删除老版本的hive hook。

• 添加支持多个count distinct字段的数据倾斜处理优化。

• 解决join不同bucketversion的表时丢数据的问题。

Flink

升级至1.8.2。

Bigboot

• 更新小文件工具。

• 更新OSS JAR，解决非daemon线程问题。

Kafka

• 新增感知Deployment Set特性。

• 去掉fastjson依赖。

HDFS

• 优化SmartData OSS JAR包部署逻辑。

• 更新SmartData OSS JAR包。

Flume

升级fastjson。

Tensorflow on Spark

新增服务。

Has

升级fastjson。

Livy

升级fastjson。