EMR-3.x系列版本说明

版本

日期

EMR-3.52.1

2024年12月18日

EMR-3.52.0（不支持新购）

2024年12月4日

服务

变更点

Spark

• 修复了在扩容过程中遇到的配置问题。

• 修复了Kerberos集群中偶发的SASL连接失败问题。

Hive

修复了在扩容过程中遇到的配置问题。

Trino

解决了LDAP启用后无法连接的问题。

Presto

Zookeeper

支持添加自定义配置。

Ranger

将现有的Spark 3 Ranger插件替换为Kyuubi开源项目提供的版本。

Hudi

升级至0.15.0版本。

Celeborn

升级至0.5.2版本。

JindoCache

升级至6.5.3版本。

StarRocks3

升级至3.2.11版本。

Kyuubi

升级至1.9.2版本。

StarRocks2

升级至2.5.22版本。

Impala

Kudu

Kafka

Kafka-Manager

版本

日期

EMR-3.51.4

2024年12月18日

EMR-3.51.3（不支持新购）

2024年11月29日

EMR-3.51.2（不支持新购）

2024年08月29日

EMR-3.51.1（不支持新购）

2024年06月21日

EMR-3.51.0（不支持新购）

2024年04月23日

版本

日期

EMR-3.50.0

2024年02月19日

服务

变更点

Hudi

升级至0.14.0版本。

Flume

升级至1.11.0版本。

Kyuubi

升级至1.7.3版本。

Impala

升级至4.3.0版本。

Celeborn

升级至0.3.2版本。

JindoCache

升级至6.2.0版本。

Paimon

升级至0.7-ali-1版本。

Kafka

• 升级至3.6.1版本。

• 修复了Kafka Connect组件中存在的SASL安全认证漏洞。

Spark

修复了Commons Text漏洞。

StarRocks

• StarRocks2升级至2.5.13版本。

• StarRocks3升级至3.1.5版本。

Ranger

• 修复了Commons Text漏洞。

• 修复了Spring Security路径匹配权限绕过漏洞。

• 修复了Spring Security forward/include认证绕过漏洞。

• 修复了Spring Framework特殊匹配模式下身份认证绕过漏洞。

• 支持修改Ranger同步LDAP用户周期。

版本

日期

EMR-3.49.1

2023年11月16日

EMR-3.49.0（不支持新购）

2023年10月27日

服务

变更点

JindoCache

新增组件，版本为6.1.1。

JindoData

不支持选择JindoData。您可以使用新增的JindoCache来实现缓存功能，使用DLF-Auth来实现鉴权功能。

Spark

移除了hive-site.xml中与jdo相关的配置。

HBase

在配置中增加配置项，您可以根据自己的需求选择HBase Thrift Server的版本，包括v1和v2。

StarRocks

升级StarRocks2至2.5.10版本。

Doris

升级Doris至1.2.7版本。

Celeborn

升级Celeborn至0.3.1版本。

Paimon

升级Paimon至0.6-ali-2版本。

ClickHouse

升级ClickHouse至23.8.2.7版本。

版本

日期

EMR-3.48.2

2023年8月17日

服务

变更点

Trino

• 修复了Paimon连接器无法成功查询HDFS表的问题。

• 修复了无法读取Worker监控指标的问题。

Presto

• 升级到0.283版本。

• 修复了无法读取Worker监控指标的问题。

ClickHouse

默认赋予default用户所有权限。

StarRocks

• 修改之前的StarRocks为StarRocks2。

• 新增StarRocks3，版本为 3.1.2版本，默认创建为存算一体版本，暂不支持存算分离版本。

Celeborn

升级到0.3.0版本。

版本

日期

EMR-3.47.0

2023年8月3日

服务

变更点

Hudi

升级到0.13.1版本。

Paimon

升级到0.5-ali-1版本。

StarRocks

升级到2.5.8版本。

JindoData

升级到4.6.11版本。

Trino

• 升级到422版本。

• Hudi连接器支持查询MOR（Merge On Read）表。

• 优化了动态加载UDF时的错误提示。

版本

日期

EMR-3.46.1

2023年7月13日

EMR-3.46.0（不支持新购）

2023年6月1日

版本

日期

EMR-3.45.1

2023年4月3日

EMR-3.45.0（不支持新购）

2023年2月28日

服务

变更点

Iceberg

升级到0.14.1版本。

Flink

升级到Flink1.15-vvr-6.0.2版本，对应社区Flink1.15大版本。

Kafka

• 支持LDAP用户登录认证与鉴权。

• 支持用户组鉴权。

Trino

• EMR Presto改用社区正式名称Trino。

• 支持Ranger和DLF AUTH。

• 修复了一键开启LDAP后无法连接到Worker节点的问题。

JindoSDK

升级到4.6.2版本。

JindoData

升级到4.6.2版本。

HBase

• 支持Ranger。

• 修复了添加服务时不能选择OSS-HDFS作为存储模式的问题。

YARN

高安全模式默认开启ACL。

Starrocks

升级到2.3.4版本。

Doris

升级到1.1.5版本。

Hudi

控制台支持配置hudi-defaults.conf。

Ranger

支持对接Trino、YARN、HBase、Kafka。

DLF-Auth

• 升级至2.0.2版本。

• 支持Trino、Impala。

OpenLDAP

对接了Nslcd组件。

Kudu

Kudu Tserver不再允许安装在Task节点组中。

Spark

升级至3.3.1版本。

Tez

升级至0.10.2版本。

Kyuubi

升级至1.6.0版本。

版本

日期

EMR-3.43.1

2022年11月08日

EMR-3.43.0（不支持新购）

2022年10月14日

服务

变更点

Hive

支持一键对接LDAP。

Presto

• 升级至社区389版本。

  使用社区提供的Delta Lake和Hudi独立连接器。

  • 此版本Delta Lake连接器暂不支持Time Travel和Z-Order。

  • 此版本Hudi连接器暂不支持查询MOR表。

• 支持一键对接LDAP。

DeltaLake

• 对接了DLF自动化湖表管理。

• 支持Ranger鉴权。

• 修复了timestamp字段无法收集统计信息的问题。

• 支持optimize和vacuum命令返回指标信息。

Hudi

升级至0.11.1版本。

HadoopCommon

新增组件，解决HDFS、YARN和JindoSDK配置相互覆盖的问题。

YARN

弹性功能增强。

Ranger

• 同时支持Spark2和Spark3。

• 支持Ranger Usersync一键对接LDAP。

Kafka

CruiseControl启动时会自动创建相关的Topic。

HBase

新增组件，版本为1.4.9。

Phoenix

新增组件，版本为4.14.1。

Doris

升级至1.1.1版本。

StarRocks

升级至2.2.3版本。

ClickHouse

修复了读OSS大文件时内存溢出的问题。

服务

变更点

JindoData

新增组件，版本为4.3.0。

JindoSDK

升级至4.3.0版本。

Spark

升级至3.2.1版本。

Hive

• 修复了TEZ开启Speculation后重复Commit的缺陷。

• 修复了必须Reload Function才能调用UDF的缺陷。

Presto

修复了Hadoop集群初始化完成后，添加Presto服务后，Presto服务无法启动的缺陷。

DeltaLake

修复了与Streaming SQL的兼容性问题。

Hudi

升级至0.10.1版本。

Iceberg

升级至0.13.1版本。

YARN

• 增加了限制AM只运行在CORE组节点的功能配置。

• 修复了mareduce.map.java.opts配置缺少taihaodoctor的问题。

Zookeeper

优化了JVM的参数配置。

Flink

适配JindoSDK 4.3.0。

Impala

Flume

Druid

Sqoop

升级PostgreSQL版本。

Zeppelin

解决了JDBC Interpreter启动失败的问题。

Ranger

Ranger 1.2.0版本Spark Plugin支持Hudi。

Oozie

升级Log4j至2.17.2版本。

HBase

修复了HBase 1.4.9版本RegionServer无法启动的问题。

DLF-Auth

升级至2.0.0版本。

版本

日期

EMR-3.39.2

2022年3月25日

EMR-3.39.1（不支持新购）

2022年2月15日

版本

日期

EMR-3.38.3

2021年12月

EMR-3.38.2（不支持新购）

2021年12月

EMR-3.38.1（不支持新购）

2021年11月

EMR-3.38.0（不支持新购）

2021年10月

版本

日期

EMR-3.37.1

2021年9月

EMR-3.37.0（不支持新购）

2021年8月

服务

变更点

SmartData

升级SmartData至3.6.1版本。

版本详情，请参见SmartData 3.6.x版本简介。

Hive

• 升级Hive至2.3.8版本。

• 修复使用DLF（DataLakeFormation）元数据执行show create table命令时，结果显示不正确的问题。

• 优化Hive默认参数，以提升作业性能。

• 修改E-MapReduce控制台上，Hive服务配置页面的hive-env页签的配置项名称为大写，便于用户使用。

• 优化文件系统与MetaStore不一致时写Hive表的报错信息。

HDFS

支持ZSTD（Zstandard）压缩格式。

Flink

升级Flink至1.12-vvr-3.0.2版本。

Hudi

• 升级Hudi至0.8.0版本。

• 支持和Spark SQL集成。

Spark

• 优化E-MapReduce控制台上，Spark服务配置页面的spark-defaults页签的配置项名称。

• 优化输出日志性能。

• 支持ZSTD（Zstandard）压缩格式。

Impala

修复使用HDFS时报错提示Core Dump的问题。

Tez

优化Tez默认参数，以提升作业性能。

Knox

• 适配Kudu组件。

• 适配Impala组件。

• 适配Hbase组件。

Hue

修复HUE查询历史记录时，中文乱码的问题。

Phoenix

修复Hive和Spark SQL访问Phoenix表时，报未找到JDBC Driver的问题。

ClickHouse

上线APM监控报警。

服务

变更点

ClickHouse

• 支持从Spark导入数据至ClickHouse，详情请参见从Spark导入数据至ClickHouse。

• 支持从Flink导入数据至ClickHouse，详情请参见从Flink导入数据至ClickHouse。

服务

变更点

SmartData

升级至3.5.0版本。

版本详情，请参见SmartData 3.5.x版本简介。

Spark

• 修复Adaptive Execution部分场景无法生效的问题。

• 修复统计聚合函数行为和Hive不一致的问题。

• 修复读取Hive ORC表char类型数据正确性的问题。

HDFS

支持国密SM4加密算法。

Hue

升级Hue至4.9.0版本。

Alluxio

升级Alluxio至2.5.0版本。

Druid

• 升级Druid至0.20.1版本。

• 增强了安全性。

Livy

升级Livy至0.7.1版本。

服务

变更点

SmartData

升级至3.4.0版本。

版本详情，请参见SmartData 3.4.x版本简介。

Spark

• 优化了部分默认配置。
• 性能优化：支持Window TopK下推。
• 增强Hive读写CSV或JSON表的兼容性。
• ANALYZE语句支持省略全表列名。
• 支持一键开启或关闭LDAP功能。
• 改进Spark Beeline工具的易用性。

Hive

• 优化了部分默认配置。

• 性能优化：增强CBO。

• 支持一键开启或关闭LDAP功能。

• 升级Calcite版本至1.12.0。

• 增加参数hive.security.authorization.sqlstd.confwhitelist.append。

Presto

支持一键开启或关闭LDAP功能。

YARN

修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN WebUI时，需要在URL里显式指定user.name=name的问题。

Zookeeper

升级至3.6.2版本。

Flink

初始化时更新config.sh文件，修复HADOOP_CLASSPATH的问题。

Impala

• 升级Impala至3.4.0版本。

• 升级Shiro至1.7.0版本。

• 支持DLF元数据。

• 支持查询Delta格式的数据。

• 支持一键开启或关闭LDAP功能。

Tez

优化了默认配置。

HAS

修复在HAS的install流程中产生错误后admin.keytab无法重新init问题。

Ranger

• 修复Spark中Filter函数的下推问题。

• 修复Ranger Disable Presto后，Presto无法启动的问题。

• 支持一键开启或关闭LDAP功能。

Knox

修复Druid 0.20.0版本Knox链接的问题。

Hue

支持一键开启或关闭LDAP功能。

Hudi

• 支持SQL on Hudi功能。
• 修复了查询部分数据时准确性的问题。
• 在Spark查询Hudi的Copy On Write表时，支持分区裁剪。
• 支持分桶索引机制，提高写入性能。

Delta Lake

• 修复基于已存在Delta表无法同步元数据至Hive Metastore的问题。
• 修复Merge命令无法解析*的问题。
• 修复基于Parquet格式的数据转换成Delta表，且创建表元数据时报错的问题。
• 修复当没有待compact的文件时，执行Optimize命令异常的问题。
• 支持Merge语法使用子查询作为source命令。
• 使用Presto查询Delta表时，引入缓存机制，以提升查询效率。
• 支持Impala查询Delta表。

Superset

• 修复admin用户无法登录Web UI的问题。

• 数据集兼容Druid集群模式。

• 不再支持SparkSQL数据集。

Sqoop

支持导入Parquet格式的文件至OSS。

Alluxio

升级至2.4.1版本。

Phoenix

Hive on Phoenix支持字段设置。

Pig

已移除。

服务

变更点

SmartData

升级至3.2.0版本。

详情请参见SmartData 3.2.x版本简介。

Spark

• 升级至2.4.7版本。

• 升级jQuery至3.5.1版本。

• 兼容Hive方式，自动更新表和分区大小。

• 支持Spark元数据和作业运行信息输出至DataWorks。

Hive

• 升级至2.3.7版本。

• HCatalog支持Data Lake Formation。

• 支持Hive元数据和作业运行信息输出至DataWorks。

Metastore

• 新增Hive Statistics功能。

• HCatalog支持Data Lake Formation。

• 优化STSToken的获取方式。

HDFS

升级jQuery至3.5.1版本。

YARN

• 升级jQuery至3.5.1版本。

• 调整Fair Scheduler配置。

• 优化了Timeline Server。

Zeppelin

升级至0.9.0版本。

Ranger

• 增加Hive的Audit日志配置。

• 增加Log4j Audit的配置。

OpenLDAP

• 增加审计功能。

• 默认开启SSL端口（10636）。

• 支持一键开启Presto。

Knox

• 修复Spring漏洞。

• 修复Spark UI中查看Executors页面的问题。

• 修复Oozie的Job状态页面的问题。

Hue

支持Presto。

Druid

升级至0.20.0版本。

EMRHook

• 新增软件服务。

• hive-hook：支持Hive元数据和作业运行信息输出至DataWorks。

• spark-hook：支持Spark元数据和作业运行信息输出至DataWorks。

服务

变更点

SmartData

升级至3.1.0版本。

详情请参见SmartData 3.1.x版本简介。

Alluxio

• 支持Alluxio 2.4.0版本。

• 默认的参数配置，可以根据集群节点大小调整。

• 默认使用EMR集群内的HDFS作为底层的UnderFS，开箱即用。

• 增强Alluxio OSS UnderFS，适配OSS多版本等新功能。

• 适配Hadoop、Hive、Spark和Presto等引擎。

HUDI

支持HUDI 0.6.0版本。

Spark

JindoTable支持打开或关闭数据采集功能。

Hive

• 修复了HiveServer连接池泄漏的问题。

• JindoTable支持打开或关闭数据采集功能。

• 优化ADD COLUMN的性能。

• 修复了读取HUDI表时数据不正确的问题。

• 默认的参数配置，可以根据集群节点大小调整。

HDFS

支持了更高数量级的Snapshot。

YARN

默认的参数配置，可以根据集群节点大小调整。

Tez

默认的参数配置，可以根据集群节点大小调整。

Sqoop

修复了Avro格式的文件导入问题。

服务

变更点

SmartData

升级至3.0.0。

详情请参见SmartData 3.0.x版本简介

Spark

• 支持阿里云DLF（Data Lake Formation）元数据。

• 升级HAS依赖至2.0.1。

• 修复Streaming SQL反引号问题。

• 移除Delta的JAR包，修改为Delta单独部署。

• 修改日志路径统一写至HDFS下。

Hive

• 支持阿里云DLF（Data Lake Formation）元数据。

• 解决了读Delta表空目录时写DUMMY文件问题。

• 升级HAS依赖至2.0.1。

Presto

• 支持阿里云DLF（Data Lake Formation）元数据。

• 解决读Delta表的限制问题。

• 修复高安全模式下JVM配置缺失问题。

• 升级HAS依赖至2.0.1。

HDFS

• 支持热交换磁盘模式。

• 升级HAS依赖至2.0.1。

YARN

• 修复YARN RMZKStateStore的问题。

• 支持SLS输出的SNAPPY文件。

• 修改MapReduce Local模式目录配置，解决目录权限检查问题。

• 支持热交换磁盘模式。

• 日志路径统一写到HDFS下。

• 升级HAS依赖至2.0.1。

Zookeeper

• 支持绑定内网IP启动服务端口。

• 升级HAS依赖至2.0.1。

Flink-Vvp

• 升级至1.11-2.2.2版本。

• 支持SQL和Autopilot功能。

Flink

• 支持缓存模式写入OSS，结合Flink的Checkpoint与可重发的Source实现EXACTLY_ONCE语义。

• 同步了Flink社区1.11.1功能，SQL支持多路输出（MULTI INSERT）。

• 升级HAS依赖至2.0.1。

Impala

• 支持自定义配置catalogd.flgs、impalad.flgs和statestored.flgs。

• 升级Shiro至1.6.0版本。

• 升级HAS依赖至2.0.1。

Tez

• 优化AM的默认内存参数。

• 升级HAS依赖至2.0.1。

HAS

升级HAS依赖至2.0.1。

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

服务

变更点

Bigboot

• 升级至2.7.301版本。

• Jindo DistCp支持写入时按OSS归档或低频写入。

• 增强Fuse功能，支持多Namespaces。

• 完善Cache模式的元数据缓存功能。

Spark

• Spark升级至2.4.5.2.0。

• 支持第三方Metastore的功能。

• 增加datalake metastore-client。

Hive

• Hive升级至2.3.5.6.0。

• 支持第三方Metastore的功能。

• 增加datalake metastore-client。

Presto

升级至338版本。

Ranger

• 升级软件包至1.2.0-1.5.0。

• 支持Presto 338。

• 配置文件增加Description。

HDFS

自适应配置datanode reserved空间大小。

Knox

适配Impala、高版本Flink和PAI。

Druid

升级至0.18.1版本。

SmartData

升级至2.7.301版本。

服务

变更点

Bigboot

• 发布首个JindoTable版本，基于表或分区的热度统计。

• 支持Block模式上完整的存储策略，支持分层存储策略，包括低频和归档等。

• 增加数据迁移工具Jindo DistCp。

• 完善和修复Jindo Fuse。

• 完善Cache模式中JFS Scheme在Hive引擎和Jindo JobCommitter上的集成。

• Block模式读路径上，设置比重可以直接读OSS，用来缓解和分摊读本地缓存的开销。

• JindoFS软件模块解耦，分为Bigboot（管控层）、Smartdata（分布式服务）和JindoFS SDK。每块独立升级维护。

服务

变更点

Flink

已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。

Bigboot

升级至2.7.0版本。

Delta

• 升级至0.6.0版本。

• 解耦Delta与Spark代码。

Spark

• 升级至2.4.5版本。

• 兼容DataFactory的streaming-sql脚本。

• 支持Delta 0.6.0版本。

Hive

支持Delta 0.6.0版本。

Ranger

• 支持HDFS、Hive和Spark自定义部署。

• 支持在控制台配置ranger-admin-site和ranger-ugsync-site。

HDFS

针对HDFS写入时无可用DataNode节点的异常，打印对应DataNode异常信息（HDFS-9023）。

Hue

• 支持Gateway集群安装Hue组件。

• 支持在单个节点部署多个Hue实例。

DataFactory

支持Delta 0.6.0版本。

Druid

升级至0.18.0版本。

Knox

• 升级至1.1.0-1.0.7版本。

• 适配HBase UI。

版本

日期

EMR-3.27.0

2020年4月29日

EMR-3.27.1（不支持新购）

2020年5月8日

EMR-3.27.2（不支持新购）

2020年5月20日

功能

变更点

组件自定义部署

支持对Master节点上的组件进行自定义部署，目前支持以下组件：

• Hadoop

• Spark

• Hive

• Zookeeper

• Presto

弹性伸缩功能支持优雅下线

开启优雅下线后，节点不会被立即释放，而是在设置的时间段内等待任务执行完成后释放。

服务

变更点

Spark

• CUBE中支持日期类型分区字段。

• 调大Spark-Submit的stack深度。

Delta

• DDL相关语法增强，包括CREATE、SHOW、DESCRIBE等相关命令。

• 支持带ZOrder的Optimize语法。

Knox

• 适配Druid UI。

• 支持多Master部署。

Hive

• hcatalog表支持magic committer。

• 移除一些过时的默认配置。

Bigboot

• 升级至2.6.3版本。

• 支持多Master部署。

SmartData

• 升级至2.6.3版本。

• 支持多Master部署。

Ranger

• 支持Solr组件。

• 支持PrestoSQL 311版本。

Tez

支持scratchdir设置在OSS上。

Presto

升级至331版本。

Druid

升级至0.17.1版本。

Superset

升级至0.35.2版本。

Sqoop

• MySql JDBC JAR包升级至5.1.48版本。

• MySql direct导出模式支持通过--mysql-charset设置自定义编码。

版本

日期

EMR-3.26.3（不支持新购）

2020年4月16日

服务

变更点

Bigboot

• 升级到2.6.3版本。

• 支持OTS元数据和Namespace HA。

SmartData

Hive

hcatalog表支持direct committer。

YARN

配置默认的committer为JindoOssCommitter。

HDFS

升级JindoFS相关配置。

Spark

配置默认的committer为JindoOssCommitter。

服务

变更点

Ranger

• 初始化HA集群RangerAdmin数据库。

• 修复RangerUserSync启动脚本时的安全性问题。

Spark

• 支持在控制台配置spark.sql.extensions等Delta相关参数。

• 支持Hive读取Delta table，避免set inputformat。

• 支持ALTER TABLE SET TBLPROPERTIES和UNSET TBLPROPERTIES语句。

Delta

Hive

修复自动LOCAL模式下MR任务执行失败的问题。

Presto

• 升级至310版本。

• 升级joda-time版本至2.10.5。

Tez

• 升级至0.9.2版本。

• 修复tez-ui application进度无法正常显示的问题。

• 修复tez-ui application history无法查看的问题。

Impala

修复Impala无法访问lzo表的问题。

HDFS

移除mongo-hadoop的相关JAR包。

Zookeeper

升级至3.5.6版本。

YARN

适配tez-ui，yarn-site页签支持添加配置项yarn.resourcemanager.system-metrics-publisher.enabled=true。

Bigboot

• 升级至2.2.3版本。

• OSS Cache模式下支持rename操作。

SmartData

Knox

升级依赖包版本。

Oozie

升级依赖包版本。

服务

变更点

Delta

• 支持SQL语法，包括ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE和VACUUM。

• 内置并优化Optimize。

• 支持Hive connector。

• 支持其他开源已有特性。

Grafana

新增组件（Flink独立集群），版本6.4.2。

Prometheus

新增组件（Flink独立集群），版本2.13.0。

AlertManager

新增组件（Flink独立集群），版本0.19.0。

TensorFlow on spark

• 支持TensorFlow框架置于Spark之上，使得Spark与深度学习框架深度结合，包括了任务调度和数据交换优化方案等，为您提供从数据预处理到深度学习训练任务的一整套流程。

• 支持Streaming类型任务。

服务

变更点

SmartData

• 优化JindoFS使用模式：Block模式使用方式不变；Cache模式不仅支持原有用法，还兼容了原有OSS文件系统的使用方式，支持数据缓存和元数据缓存，并可以通过配置分别控制开关（默认均关闭）。

• 优化Block模式和Cache模式读写性能。

• 优化磁盘清理，对本地磁盘上缓存的热数据实现更精确的统计和更及时的清理，并且能够严格保证磁盘使用率不会超过配额。

• 完善对Gateway集群的支持，能够在Gateway上使用Block模式和Cache模式。

• 支持一个存储集群与多个计算集群分离的部署方式。

Spark

• 增加Delta相关参数支持。

• 增加对Ranger spark plugin配置的支持。

• JindoCube升级到0.3.0版本。

Hive

• 增加SQL兼容性检查功能逻辑。

• Hive2.3.5+Hadoop2.8.5组合发布。

• 重启组件时不同步hiveserver2-site.xml中的内容至spark-conf下的hive-site.xml。

• 支持使用MSCK命令添加增量目录。

• 修复Hive复用tez container时出现的bug。

• 支持使用MSCK命令优化列目录。

Bigboot

升级至2.2.1，修复Native代码支持在部分机型上的问题。

Ranger

• Spark plugin部署方式重构。

• 修复HA集群header2没有获取keytab的bug。

Kudu

修复启动逻辑。

Zookeeper

增加四字命令配置，默认开启。

HDFS

适配JindoFS。

YARN

• 修改默认配置yarn.scheduler.capacity.node-locality-delay为-1。

• 适配JindoFS。

Has

对接OpenLDAP做后端。

OpenLDAP

适配Has。

Presto

升级版本到0.228。

Kafka

移除D1坏盘。

Druid

升级至0.16.0。

Flume

升级至1.9.0。

Flink

• 升级至1.9.1。

• 支持Flink独立集群（白名单发布）。

服务

变更点

Druid

• 升级至0.15.1。

• 增加router组件。

• 升级fastjson。

Spark

• 更新spark thriftserver，解决class loader问题。

• 重构spark事务相关代码，提升稳定性。

• 解决升builtin hive至2.3版本后orc格式读写问题。

• 支持merge into语法。

• 支持scan和stream语法。

• Structured Streaming Kafka sink支持EOS。

• delta更新至0.4.0。

Hive

• 删除老版本的hive hook。

• 添加支持多个count distinct字段的数据倾斜处理优化。

• 解决join不同bucketversion的表时丢数据的问题。

Flink

升级至1.8.2。

Bigboot

• 更新小文件工具。

• 更新OSS JAR，解决非daemon线程问题。

Kafka

• 新增感知Deployment Set特性。

• 去掉fastjson依赖。

HDFS

• 优化SmartData OSS JAR包部署逻辑。

• 更新SmartData OSS JAR包。

Flume

升级fastjson。

Tensorflow on Spark

新增服务。

Has

升级fastjson。

Livy

升级fastjson。

服务

变更点

Kudu

• 新增组件，Kudu填补Hadoop生态圈的功能空白，可提供类似HBase快速数据插入以及随机存取的功能，允许用户进行数据修改，同时还提供类似HDFS或Parquet超大规模的数据分析以及查询的功能。

  • 提供C++和Java API，以便用户进行二次开发。

  • 提供Impala、Spark以及Hive Metastore的集成。

• Kudu版本基于开源社区Apache Kudu1.10.0版本。

OpenLDAP

• 新增组件，取代ApacheDS，ApacheDS下线。

• 高可用。

组件

详细信息

JindoFileSystem

• 多种存储模式

  • Block模式：数据以Block形式存储在后端存储OSS上，本地Namespace服务维护元数据信息。在元数据性能和数据性能上，Block模式较优。Block模式支持不同的存储策略，包括WARM存储策略（本地-副本，OSS-副本）、COLD（仅OSS-副本）、 HOT（本地多副本、OSS-副本）、TEMP（仅本地-副本）和ALL_HDD（本地多副本），默认为WARM，用户可以根据不同的应用场景对目录设置不同的存储策略。

  • Cache模式： 该模式主要兼容现有OSS存储方式。在Cache模式下，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能。Cache模式提供不同元数据同步策略以满足用户在不同场景下的需求。

• 外部客户端支持

  • 客户端SDK提供了E-MapReduce集群外访问E-MapReduce JindoFS 的文件系统的能力，通过客户端可以访问Block模式的Namespace，但外部客户端不能利用到E-MapReduce JindoFS在E-MapReduce集群内部构建的数据缓存，性能上相对于E-MapReduce集群内部使用也有一定的差距。

  • Cache模式则保留了原有OSS存储的语义，通过JindoFS在E-MapReduce集群内部实现了数据缓存加速，因此，E-MapReduce 集群外部可以直接通过OSS客户端访问数据，例如，OSS SDK或者E-MapReduce的OssFileSystem等。

• 生态组件支持

  • JindoFS目前已经支持E-MapReduce上的众多计算引擎，例如，Spark、Flink、Hive、MapReduce、Impala和Presto等。

  • 针对计算和存储分离的场景，也可以把作业日志存储在JindoFS上，例如，YARN Container log和Spark Event log。

  • JindoFS可以作为HBase的HFile后端存储，扩展HBase的存储能力。

OssFileSystem

• OssFileSystem增加自动检测坏盘逻辑，修复OSS写入时，由于坏盘导致缓存写入失败的问题。

• 补全OssFileSystem相关配置。

Bigboot

• 升级到2.0.0版本。

• 包括多Namespace支持、本地数据块以大文件形式存储、多模存储支持和外部客户端支持等多项重大更新。

• 解决机器重启过程中Bigboot monitor状态不正确问题。

• 增加Kudu组件的服务spec。

• 增加各个服务spec的正确性检验。

Hadoop

• HDFS

  • HDFS Federation适配，支持通过自定义配置和API创建HDFS Federation集群，避免创建Federation集群时的二次Format。

  • 优化坏盘检测逻辑，针对本地盘场景，可以通过dfsadmin触发DataNode blockreport时进行坏盘检测。

• YARN

  修复MR作业Container日志存在JindoFS或OSS时， MapReduce JobHistory作业列表不更新的问题。

Spark

• Relational Cache

  支持Relational Cache，Relational Cache通过预计算加速用户查询。用户可以创建Relational Cache对数据进行预计算，在执行用户查询时，Spark Optimizer自动发现合适的Cache，并改写SQL执行计划，基于Cache的数据继续计算，从而提升查询速度，适用于报表、Dashboard、数据同步和多维分析等场景。

  • 通过DDL，进行CACHE、UNCACHE、ALTER、SHOW等操作，Cache的数据支持Spark的所有数据源和数据格式。

  • 支持自动的Cache数据更新以及通过REFRESH命令更新Cache数据，支持基于分区的增量更新。

  • 支持基于Relational Cache的执行计划优化。

• Streaming SQL

  • 规范Stream Query Writer的参数配置。

  • 优化Kafka数据表Schema兼容性检查。

  • Kafka数据表Schema不存在时自动创建到SchemaRegistry。

  • 优化Kafka Schema不兼容时的日志信息。

  • 修复查询结果写Kafka表时必须显式指定列名的问题。

  • 去掉流式SQL查询只支持Kafka和Loghub数据输入源的限制。

• Delta

  新增Delta，用户可使用Spark创建Delta datasource，以支持流式数据写入、事务性读写、数据校验和数据回溯等应用场景。详情请参见Delta详细信息。

  • 支持使用DataFrame API从Delta读取数据或者写入数据到Delta。

  • 支持使用Structured Streaming API以Delta作为source或者sink进行数据的读或写。

  • 支持使用Delta API对数据进行update、delete、merge、vacuum、optimize等操作。

  • 支持使用SQL创建基于Delta的表、导入数据到Delta和读取Delta表等操作。

• Others

  • constraint feature，支持主键和外键。

  • 解决servlet等jar冲突问题。

Flink

log4j日志回滚。

Kafka

• log4j日志回滚。

• 升级fastjson。

Zeppelin

升级依赖的commons-lang3包到3.7版本，修复pyspark无法写OSS的问题，详情请参见Spark 2.4 incompatibility with commons-lang3 in Zeppelin。

Ranger

增加Show grants支持。

Analytics-Zoo

修复NumPy安装错误问题。

Impala

兼容Apache Kudu 1.10.0版本。

Presto

升级到0.221版本。

ZooKeeper

升级到3.5.5版本。