本文介绍E-MapReduce 3.23.0发行版本的发布日期和更新内容等信息。

发布日期

2019年09月18日

更新内容

服务 变更点
Druid
  • 升级至0.15.1。
  • 增加router组件。
  • 升级fastjson到1.2.60。
Spark
  • 更新spark thriftserver，解决class loader问题。
  • 重构spark事务相关代码，提升稳定性。
  • 解决升builtin hive至2.3版本后orc格式读写问题。
  • 支持merge into语法。
  • 支持scan/stream语法。
  • Structured Streaming Kafka sink支持EOS。
  • delta更新至0.4.0。
Hive
  • 删除老版本的hive hook。
  • 添加支持多个count distinct字段的数据倾斜处理优化。
  • 解决join不同bucketversion的表时丢数据的问题。
Flink 升级至1.8.2。
Bigboot
  • 更新小文件工具。
  • 更新 OSS jar，解决非 daemon线程问题。
Kafka
  • 新增感知Deploymen Set特性。
  • 去掉fastjson依赖。
HDFS
  • 优化SmartData OSS jar包部署逻辑。
  • 更新SmartData OSS jar包。
Flume 升级fastjson至1.2.60。
Tensorflow on Spark 新增服务。
Has 升级fastjson至1.2.60。
Livy 升级fastjson至1.2.60。