本文介绍EMR-4.x系列的发布日期与更新详情,关于各版本支持的组件,请参见发行版本。
EMR-3.52.x
发布日期
版本 | 日期 |
EMR-3.52.1 | 2024年12月18日 |
EMR-3.52.0(不支持新购) | 2024年12月4日 |
更新内容
服务 | 变更点 |
Spark |
|
Hive | 修复了在扩容过程中遇到的配置问题。 |
Trino | 解决了LDAP启用后无法连接的问题。 |
Presto | |
Zookeeper | 支持添加自定义配置。 |
Ranger | 将现有的Spark 3 Ranger插件替换为Kyuubi开源项目提供的版本。 |
Hudi | 升级至0.15.0版本。 |
Celeborn | 升级至0.5.2版本。 |
JindoCache | 升级至6.5.3版本。 |
StarRocks3 | 升级至3.2.11版本。 |
Kyuubi | 升级至1.9.2版本。 |
StarRocks2 | 升级至2.5.22版本。 |
Impala | 服务已下线。您可以选择使用推荐的服务作为替代,或自行安装相应的服务。 Impala:建议您使用Presto、Trino、ClickHouse或StarRocks替代。 |
Kudu | |
Kafka | |
Kafka-Manager |
EMR-3.51.x
本文介绍EMR-3.51.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.51.4 | 2024年12月18日 |
EMR-3.51.3(不支持新购) | 2024年11月29日 |
EMR-3.51.2(不支持新购) | 2024年08月29日 |
EMR-3.51.1(不支持新购) | 2024年06月21日 |
EMR-3.51.0(不支持新购) | 2024年04月23日 |
更新内容
EMR-3.51.4
服务 | 变更点 |
JindoCache | 升级至6.5.3版本。 |
StarRocks2 | 升级至2.5.22版本。 |
StarRocks3 | 升级至3.2.11版本。 |
EMR-3.51.3
服务 | 变更点 |
JindoSDK | 升级JindoSDK以解决死锁问题。 |
EMR-3.51.2
服务 | 变更点 |
JindoCache |
|
Spark |
|
Trino |
|
Presto | 支持查询高安全OSS-HDFS上的数据。 |
HDFS | 解决了无法修改NameNode和DataNode内存的问题。 |
HBaseHDFS | |
YARN |
|
Zookeeper |
|
Impala | 修复了弹性扩容时修改客户配置的问题。 |
Ranger | 支持新版JindoSDK内核,有效降低了CPU使用率。 |
Knox | 修复了仅有一个Master-Extend时组件URL访问失效的问题。 |
Kafka | 修复了Kafka Connect集群启动的问题。 |
StarRocks | 修复了扩容后看不到新增BE的问题。 |
Doris | 升级至2.1.4版本。 |
Paimon | 升级至0.9-ali-7版本。 |
EMRHOOK | 支持解析MaxCompute表的血缘数据。 |
EMR-3.51.1
服务 | 变更点 |
Spark | 支持部署Master-Extend节点组。 |
Hive | |
Kyuubi | |
Paimon | 将Flink依赖从VVR版本替换为社区版,并支持DLF Catalog。 |
Knox | 使用JDK 8进行打包。 |
Flink | 已恢复在EMR-3.51.0中移除的DLF配置和依赖项。 |
EMR-3.51.0
服务 | 变更点 |
Spark | Spark3升级至3.4.2版本。 |
Celeborn | 升级至0.4.0版本。 |
Doris | 升级至2.1.0版本。 |
StarRocks |
|
DeltaLake | 升级至3.0.0版本。 |
Iceberg | 升级至1.5.0版本。 |
Zookeeper | 升级至3.8.4版本。 |
JindoCache | 升级至6.2.5版本。 |
Flink | 升级至1.17.2版本。 |
EMR-3.50.x
发布日期
版本 | 日期 |
EMR-3.50.0 | 2024年02月19日 |
更新内容
服务 | 变更点 |
Hudi | 升级至0.14.0版本。 |
Flume | 升级至1.11.0版本。 |
Kyuubi | 升级至1.7.3版本。 |
Impala | 升级至4.3.0版本。 |
Celeborn | 升级至0.3.2版本。 |
JindoCache | 升级至6.2.0版本。 |
Paimon | 升级至0.7-ali-1版本。 |
Kafka |
|
Spark | 修复了Commons Text漏洞。 |
StarRocks |
|
Ranger |
|
EMR-3.49.x
本文介绍EMR-3.49.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.49.1 | 2023年11月16日 |
EMR-3.49.0(不支持新购) | 2023年10月27日 |
更新内容
服务 | 变更点 |
JindoCache | 新增组件,版本为6.1.1。 |
JindoData | 不支持选择JindoData。您可以使用新增的JindoCache来实现缓存功能,使用DLF-Auth来实现鉴权功能。 |
Spark | 移除了hive-site.xml中与 |
HBase | 在配置中增加配置项,您可以根据自己的需求选择HBase Thrift Server的版本,包括v1和v2。 |
StarRocks | 升级StarRocks2至2.5.10版本。 |
Doris | 升级Doris至1.2.7版本。 |
Celeborn | 升级Celeborn至0.3.1版本。 |
Paimon | 升级Paimon至0.6-ali-2版本。 |
ClickHouse | 升级ClickHouse至23.8.2.7版本。 |
EMR-3.48.x
本文介绍EMR-3.48.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.48.2 | 2023年8月17日 |
更新内容
服务 | 变更点 |
Trino |
|
Presto |
|
ClickHouse | 默认赋予default用户所有权限。 |
StarRocks |
|
Celeborn | 升级到0.3.0版本。 |
EMR-3.47.x
本文介绍EMR-3.47.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.47.0 | 2023年8月3日 |
更新内容
服务 | 变更点 |
Hudi | 升级到0.13.1版本。 |
Paimon | 升级到0.5-ali-1版本。 |
StarRocks | 升级到2.5.8版本。 |
JindoData | 升级到4.6.11版本。 |
Trino |
|
EMR-3.46.x
本文介绍EMR-3.46.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.46.1 | 2023年7月13日 |
EMR-3.46.0(不支持新购) | 2023年6月1日 |
更新内容
EMR-3.46.1
服务 | 变更点 |
Spark |
|
Hive | Hive warehouse支持默认使用OSS-HDFS存储。 |
OSS-HDFS | 新增服务。 |
YARN | 支持默认使用OSS-HDFS存储。 |
HBase |
|
EMR-3.46.0
服务 | 变更点 |
Kyuubi | 升级到1.7.1版本。 |
Celeborn | 升级到0.2.2版本。 |
Paimon |
|
Starrocks | 升级到2.5.5版本。 |
Doris | 升级到1.2.4版本。 |
ClickHouse | 升级到22.8.17.17版本。 |
Trino | 默认提供了一个简单的Event Listener,可以获取审计日志。 |
Phoenix | 支持Hive on Phoenix。 |
EMR-3.45.x
本文介绍EMR-3.45.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-3.45.1 | 2023年4月3日 |
EMR-3.45.0(不支持新购) | 2023年2月28日 |
更新内容
EMR-3.45.1
服务 | 变更点 |
ClickHouse | 升级到22.8.14.53版本。 |
Trino | 新增odps.properties连接器,支持查询MaxCompute。 |
JindoData | 升级到4.6.5版本。 |
JindoSDK | 升级到4.6.5版本。 |
Flink-Table-Store | 升级到0.3-ali-2版本。 |
YARN | 支持Node Labels功能管理。 |
EMR-3.45.0
服务 | 变更点 |
Iceberg | 升级到1.1.0版本。 |
Hudi |
|
Kudu | 升级到1.16.0版本。 |
Clickhouse |
|
Celeborn |
|
Presto | 新增服务,内核为社区Facebook PrestoDB 0.278.3版本,默认HTTP端口号为8889,HTTPS端口号为7779。 |
DeltaLake | 升级到2.2.0版本。 |
StarRocks | 升级到2.4.3版本。 |
Doris | 升级到1.2.1版本。 |
Kafka-Manager | 升级到3.0.0.6版本。 |
Impala | 下线该服务。 |
OpenLDAP | 升级到2.4.46版本。 |
Kyuubi | 升级到1.6.1版本。 |
Ranger | 升级到2.3.0版本。 |
HBase |
|
Flink-Table-Store | 新增服务,基于社区0.3版本。 |
JindoData | 升级到4.6.4版本。 |
EMR-3.44.x
发布日期
EMR-3.44.0 2022年12月1日
更新内容
服务 | 变更点 |
Iceberg | 升级到0.14.1版本。 |
Flink | 升级到Flink1.15-vvr-6.0.2版本,对应社区Flink1.15大版本。 |
Kafka |
|
Trino |
|
JindoSDK | 升级到4.6.2版本。 |
JindoData | 升级到4.6.2版本。 |
HBase |
|
YARN | 高安全模式默认开启ACL。 |
Starrocks | 升级到2.3.4版本。 |
Doris | 升级到1.1.5版本。 |
Hudi | 控制台支持配置hudi-defaults.conf。 |
Ranger | 支持对接Trino、YARN、HBase、Kafka。 |
DLF-Auth |
|
OpenLDAP | 对接了Nslcd组件。 |
Kudu | Kudu Tserver不再允许安装在Task节点组中。 |
Spark | 升级至3.3.1版本。 |
Tez | 升级至0.10.2版本。 |
Kyuubi | 升级至1.6.0版本。 |
EMR-3.43.x
发布日期
版本 | 日期 |
EMR-3.43.1 | 2022年11月08日 |
EMR-3.43.0(不支持新购) | 2022年10月14日 |
更新内容
EMR-3.43.1
服务 | 变更点 |
Kerberos | 支持在EMR上对接外部KDC。 |
Kafka | 支持新增启动命令配置项,允许用户自定义设置服务的启动参数。 |
JindoData |
|
Flink | 升级至1.13_vvr_4.0.15版本。 |
RSS | 升级至0.1.4版本。 |
EMR-3.43.0
服务 | 变更点 |
Spark |
|
Hudi |
|
Flink |
|
Iceberg |
|
JindoData |
|
Hadoop-Common和HDFS |
|
Knox | 接入Ranger,支持通过访问链接与端口页签访问Ranger UI。 |
HBase |
|
RSS |
|
Doris |
|
StarRocks |
|
Kafka |
|
DeltaLake |
|
Kudu | 新增组件。版本为1.14.0。 |
Impala |
|
YARN、Imapla、Ranger、Hive、Kyuubi、Tez、Kafka、Zookeeper、DLF-Auth、Phoenix、Sqoop、Presto | 支持开启Kerberos身份认证。 |
EMR-3.42.x
发布日期
EMR-3.42.0 2022年8月5日
更新内容
服务 | 变更点 |
Hive | 支持一键对接LDAP。 |
Presto |
|
DeltaLake |
|
Hudi | 升级至0.11.1版本。 |
HadoopCommon | 新增组件,解决HDFS、YARN和JindoSDK配置相互覆盖的问题。 |
YARN | 弹性功能增强。 |
Ranger |
|
Kafka | CruiseControl启动时会自动创建相关的Topic。 |
HBase | 新增组件,版本为1.4.9。 |
Phoenix | 新增组件,版本为4.14.1。 |
Doris | 升级至1.1.1版本。 |
StarRocks | 升级至2.2.3版本。 |
ClickHouse | 修复了读OSS大文件时内存溢出的问题。 |
EMR-3.40.x
发布日期
EMR-3.40.0 2022年4月21日
更新内容
服务 | 变更点 |
JindoData | 新增组件,版本为4.3.0。 |
JindoSDK | 升级至4.3.0版本。 |
Spark | 升级至3.2.1版本。 |
Hive |
|
Presto | 修复了Hadoop集群初始化完成后,添加Presto服务后,Presto服务无法启动的缺陷。 |
DeltaLake | 修复了与Streaming SQL的兼容性问题。 |
Hudi | 升级至0.10.1版本。 |
Iceberg | 升级至0.13.1版本。 |
YARN |
|
Zookeeper | 优化了JVM的参数配置。 |
Flink | 适配JindoSDK 4.3.0。 |
Impala | |
Flume | |
Druid | |
Sqoop | 升级PostgreSQL版本。 |
Zeppelin | 解决了JDBC Interpreter启动失败的问题。 |
Ranger | Ranger 1.2.0版本Spark Plugin支持Hudi。 |
Oozie | 升级Log4j至2.17.2版本。 |
HBase | 修复了HBase 1.4.9版本RegionServer无法启动的问题。 |
DLF-Auth | 升级至2.0.0版本。 |
EMR-3.39.x
发布日期
版本 | 日期 |
EMR-3.39.2 | 2022年3月25日 |
EMR-3.39.1(不支持新购) | 2022年2月15日 |
更新内容
EMR-3.39.2
仅新版控制台的OLAP集群和DataFlow集群支持该版本。
服务 | 变更点 |
Flink |
|
Kafka |
|
Clickhouse | 修改了部分参数的默认值。 |
EMR-3.39.1
服务 | 变更点 |
SmartData | 组件下线。 |
BIGBOOT | |
RSS |
|
JindoSDK |
|
Spark |
|
Tez | 适配JindoSDK。 |
Hive | 适配JindoSDK。 |
Presto |
|
Delta Lake |
|
Hudi | 升级至0.10.0版本。 |
HDFS | 适配JindoSDK。 |
YARN | 适配JindoSDK。 |
Flume | 适配JindoSDK。 |
Flink |
|
Impala | 适配JindoSDK。 |
Ranger |
|
HBase |
|
Druid | 适配JindoSDK。 |
Clickhouse | 优化了ClickHouse组件Stop时的处理逻辑。 |
Iceberg |
|
DLF-Auth | 修复了Spark History Server启动失败的问题。 |
StarRocks | 新版控制台新增服务。 2.0.1版本上线,详情请参见StarRocks概述。 |
EMR-3.38.x
发布日期
版本 | 日期 |
EMR-3.38.3 | 2021年12月 |
EMR-3.38.2(不支持新购) | 2021年12月 |
EMR-3.38.1(不支持新购) | 2021年11月 |
EMR-3.38.0(不支持新购) | 2021年10月 |
更新内容
EMR-3.38.3
修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。
服务 | 变更点 |
Presto |
|
DLF Metastore |
|
Delta Lake | 修复了变更Schema同步到Metastore的问题。 |
Flink |
|
Sqoop | 修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。 |
EMR-3.38.2
服务 | 变更点 |
SmartData |
|
EMR-3.38.1
服务 | 变更点 |
SmartData | 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介。 |
Spark |
|
Presto |
|
Impala | 修复了查询DLF元数据表时,提示 |
Ranger |
|
DLF-Auth |
|
EMR-3.38.0
服务 | 变更点 |
SmartData | 升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介。 |
Spark |
|
Hive | 升级Hive至2.3.9版本。 |
Presto |
|
DeltaLake |
|
Hudi |
|
HDFS | NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。 |
Flink |
|
Storm | 组件下线。 |
Zeppelin | 升级Zeppelin至社区0.10.0版本。 |
Ranger | 当Presto为社区358版本时,该版本Ranger暂不支持Presto权限控制。 |
Hue |
|
Druid | 修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。 |
ClickHouse |
|
Iceberg | 新增组件。版本为0.12.0-1.0.1。 |
Knox | 修复了Spark Task第一次访问时失败的问题。 |
DLF-Auth | 新增组件。 支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0。 |
ESS | 升级ESS至1.2.0版本。 |
EMR-3.37.x
发布日期
版本 | 日期 |
EMR-3.37.1 | 2021年9月 |
EMR-3.37.0(不支持新购) | 2021年8月 |
更新内容
EMR-3.37.1
服务 | 变更点 |
SmartData | 升级SmartData至3.7.1版本。 |
Hue | 修复了高安全集群无法使用Impala的问题。 |
Kudu | 支持Kerberos。 |
EMR-3.37.0
服务 | 变更点 |
SmartData | 升级SmartData至3.7.0版本。 |
Spark | 修复了与Delta Lake兼容性的问题。 |
DeltaLake |
|
YARN |
|
Zookeeper | 升级至社区3.6.3版本。 |
Flink |
|
Impala | 修复了直接删除OSS分区目录出现list目录循环的问题。 |
Hue | 修复了Hue与Oozie集成使用时界面显示的问题。 |
Kudu | 升级至社区1.14.0版本。 |
Clickhouse | 更新了默认配置。 |
EMR-3.36.x
发布日期
EMR-3.36.1 2021年7月16日
更新内容
服务 | 变更点 |
SmartData | 升级SmartData至3.6.1版本。 版本详情,请参见SmartData 3.6.x版本简介。 |
Hive |
|
HDFS | 支持ZSTD(Zstandard)压缩格式。 |
Flink | 升级Flink至1.12-vvr-3.0.2版本。 说明 Hadoop集群中的Flink已移除。 |
Hudi |
|
Spark |
|
Impala | 修复使用HDFS时报错提示Core Dump的问题。 |
Tez | 优化Tez默认参数,以提升作业性能。 |
Knox |
|
Hue | 修复HUE查询历史记录时,中文乱码的问题。 |
Phoenix | 修复Hive和Spark SQL访问Phoenix表时,报未找到JDBC Driver的问题。 |
ClickHouse | 上线APM监控报警。 |
EMR-3.35.x
发布日期
EMR-3.35.0 2021年4月21日
新增内容
服务 | 变更点 |
ClickHouse |
|
更新内容
服务 | 变更点 |
SmartData | 升级至3.5.0版本。 版本详情,请参见SmartData 3.5.x版本简介。 |
Spark |
|
HDFS | 支持国密SM4加密算法。 |
Hue | 升级Hue至4.9.0版本。 |
Alluxio | 升级Alluxio至2.5.0版本。 |
Druid |
|
Livy | 升级Livy至0.7.1版本。 |
EMR-3.34.x
发布日期
EMR-3.34.0 2021年3月15日
更新内容
服务 | 变更点 |
SmartData | 升级至3.4.0版本。 版本详情,请参见SmartData 3.4.x版本简介。 |
Spark |
|
Hive |
|
Presto | 支持一键开启或关闭LDAP功能。 |
YARN | 修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN WebUI时,需要在URL里显式指定user.name=name的问题。 |
Zookeeper | 升级至3.6.2版本。 |
Flink | 初始化时更新config.sh文件,修复HADOOP_CLASSPATH的问题。 |
Impala |
|
Tez | 优化了默认配置。 |
HAS | 修复在HAS的install流程中产生错误后admin.keytab无法重新init问题。 |
Ranger |
|
Knox | 修复Druid 0.20.0版本Knox链接的问题。 |
Hue | 支持一键开启或关闭LDAP功能。 |
Hudi |
|
Delta Lake |
|
Superset |
|
Sqoop | 支持导入Parquet格式的文件至OSS。 |
Alluxio | 升级至2.4.1版本。 |
Phoenix | Hive on Phoenix支持字段设置。 |
Pig | 已移除。 |
EMR-3.33.x
发布日期
EMR-3.33.0 2021年1月15日
更新内容
服务 | 变更点 |
SmartData | 升级至3.2.0版本。 详情请参见SmartData 3.2.x版本简介。 |
Spark |
|
Hive |
|
Metastore |
|
HDFS | 升级jQuery至3.5.1版本。 |
YARN |
|
Zeppelin | 升级至0.9.0版本。 |
Ranger |
|
OpenLDAP |
|
Knox |
|
Hue | 支持Presto。 |
Druid | 升级至0.20.0版本。 |
EMRHook |
|
EMR-3.32.x
发布日期
EMR-3.32.0 2020年11月23日
更新内容
服务 | 变更点 |
SmartData | 升级至3.1.0版本。 详情请参见SmartData 3.1.x版本简介。 |
Alluxio |
|
HUDI | 支持HUDI 0.6.0版本。 |
Spark | JindoTable支持打开或关闭数据采集功能。 |
Hive |
|
HDFS | 支持了更高数量级的Snapshot。 |
YARN | 默认的参数配置,可以根据集群节点大小调整。 |
Tez | 默认的参数配置,可以根据集群节点大小调整。 |
Sqoop | 修复了Avro格式的文件导入问题。 |
EMR-3.30.x
发布日期
EMR-3.30.0 2020年10月26日
更新内容
服务 | 变更点 |
SmartData | 升级至3.0.0。 详情请参见SmartData 3.0.x版本简介 |
Spark |
|
Hive |
|
Presto |
|
HDFS |
|
YARN |
|
Zookeeper |
|
Flink-Vvp |
说明 仅Dataflow集群支持Flink-Vvp,Hadoop集群暂不支持Flink-Vvp。 |
Flink |
|
Impala |
|
Tez |
|
HAS | 升级HAS依赖至2.0.1。 |
Storm | |
Zeppelin | |
Ranger | |
OpenLDAP | |
Oozie | |
Knox | |
Kafka | |
HUE | |
HBase | |
Druid |
EMR-3.29.x
发布日期
EMR-3.29.0 2020年7月29日
更新内容
服务 | 变更点 |
Bigboot |
|
Spark |
|
Hive |
|
Presto | 升级至338版本。 |
Ranger |
|
HDFS | 自适应配置datanode reserved空间大小。 |
Knox | 适配Impala、高版本Flink和PAI。 |
Druid | 升级至0.18.1版本。 |
SmartData | 升级至2.7.301版本。 |
EMR-3.28.x
发布日期
EMR-3.28.0 2020年6月12日
新增内容
服务 | 变更点 |
Bigboot |
|
更新内容
服务 | 变更点 |
Flink | 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。 |
Bigboot | 升级至2.7.0版本。 |
Delta |
|
Spark |
|
Hive | 支持Delta 0.6.0版本。 |
Ranger |
|
HDFS | 针对HDFS写入时无可用DataNode节点的异常,打印对应DataNode异常信息(HDFS-9023)。 |
Hue |
|
DataFactory | 支持Delta 0.6.0版本。 |
Druid | 升级至0.18.0版本。 |
Knox |
|
EMR-3.27.x
发布日期
版本 | 日期 |
EMR-3.27.0 | 2020年4月29日 |
EMR-3.27.1(不支持新购) | 2020年5月8日 |
EMR-3.27.2(不支持新购) | 2020年5月20日 |
新功能
功能 | 变更点 |
组件自定义部署 | 支持对Master节点上的组件进行自定义部署,目前支持以下组件:
|
弹性伸缩功能支持优雅下线 | 开启优雅下线后,节点不会被立即释放,而是在设置的时间段内等待任务执行完成后释放。 |
更新内容
服务 | 变更点 |
Spark |
|
Delta |
|
Knox |
|
Hive |
|
Bigboot |
|
SmartData |
|
Ranger |
|
Tez | 支持scratchdir设置在OSS上。 |
Presto | 升级至331版本。 |
Druid | 升级至0.17.1版本。 |
Superset | 升级至0.35.2版本。 |
Sqoop |
|
EMR-3.26.x
发布日期
版本 | 日期 |
EMR-3.26.3(不支持新购) | 2020年4月16日 |
更新内容
服务 | 变更点 |
Bigboot |
|
SmartData | |
Hive | hcatalog表支持direct committer。 |
YARN | 配置默认的committer为JindoOssCommitter。 |
HDFS | 升级JindoFS相关配置。 |
Spark | 配置默认的committer为JindoOssCommitter。 |
EMR-3.25.x
发布日期
EMR-3.25.0 2020年1月13日
新功能
Ranger服务:支持Ranger Presto操作。
更新内容
服务 | 变更点 |
Ranger |
|
Spark |
|
Delta | |
Hive | 修复自动LOCAL模式下MR任务执行失败的问题。 |
Presto |
|
Tez |
|
Impala | 修复Impala无法访问lzo表的问题。 |
HDFS | 移除mongo-hadoop的相关JAR包。 |
Zookeeper | 升级至3.5.6版本。 |
YARN | 适配tez-ui,yarn-site页签支持添加配置项yarn.resourcemanager.system-metrics-publisher.enabled=true。 |
Bigboot |
|
SmartData | |
Knox | 升级依赖包版本。 |
Oozie | 升级依赖包版本。 |
EMR-3.24.x
发布日期
EMR-3.24.0 2019年11月18日
新功能
服务 | 变更点 |
Delta |
|
Grafana | 新增组件(Flink独立集群),版本6.4.2。 |
Prometheus | 新增组件(Flink独立集群),版本2.13.0。 |
AlertManager | 新增组件(Flink独立集群),版本0.19.0。 |
TensorFlow on spark |
|
更新内容
服务 | 变更点 |
SmartData |
|
Spark |
|
Hive |
|
Bigboot | 升级至2.2.1,修复Native代码支持在部分机型上的问题。 |
Ranger |
|
Kudu | 修复启动逻辑。 |
Zookeeper | 增加四字命令配置,默认开启。 |
HDFS | 适配JindoFS。 |
YARN |
|
Has | 对接OpenLDAP做后端。 |
OpenLDAP | 适配Has。 |
Presto | 升级版本到0.228。 |
Kafka | 移除D1坏盘。 |
Druid | 升级至0.16.0。 |
Flume | 升级至1.9.0。 |
Flink |
|
EMR-3.23.x
发布日期
EMR-3.23.0 2019年09月18日
更新内容
服务 | 变更点 |
Druid |
|
Spark |
|
Hive |
|
Flink | 升级至1.8.2。 |
Bigboot |
|
Kafka |
|
HDFS |
|
Flume | 升级fastjson。 |
Tensorflow on Spark | 新增服务。 |
Has | 升级fastjson。 |
Livy | 升级fastjson。 |
EMR-3.22.x
发布日期
EMR-3.22.0 2019年7月28日
新功能
服务 | 变更点 |
Kudu |
|
OpenLDAP |
|
更新内容
组件 | 详细信息 |
JindoFileSystem |
|
OssFileSystem |
|
Bigboot |
|
Hadoop |
|
Spark |
|
Flink | log4j日志回滚。 |
Kafka |
|
Zeppelin | 升级依赖的commons-lang3包到3.7版本,修复pyspark无法写OSS的问题,详情请参见Spark 2.4 incompatibility with commons-lang3 in Zeppelin。 |
Ranger | 增加Show grants支持。 |
Analytics-Zoo | 修复NumPy安装错误问题。 |
Impala | 兼容Apache Kudu 1.10.0版本。 |
Presto | 升级到0.221版本。 |
ZooKeeper | 升级到3.5.5版本。 |
EMR-3.22.x之前版本
EMR-3.2.0
支持所有的服务在界面上进行起停操作,支持在界面对服务进行配置管理。
EMR-3.1.1
OS升级到CentOS 7.2。
Spark升级到2.1.1版本。
emr-core升级到1.2.6版本。
修复了OSS免AccessKey操作的缺陷。
EMR-3.0.2
emr-core版本升级到1.2.5版本。
OSS免AccessKey支持更多Region。
调整角色AccessKey的替换策略。
修复关于Hive和Hadoop的部分缺陷。
EMR-3.0.1
支持交互式,支持统一的表管理,使用外部统一数据库保存Hive meta,所有使用外部Hive meta的集群都共享同一份meta信息。
升级emr-core到1.2.4版本,优化了OSS读写的性能。
Spark升级到2.0.2版本。
与EMR-3.0.0版本完全兼容。
EMR-3.0.0
第一次发布EMR版本。