本文介绍EMR-5.x系列的发布日期与更新详情,关于各版本支持的组件,请参见发行版本。
EMR-5.18.x
发布日期
版本 | 日期 |
EMR-5.18.1 | 2024年12月18日 |
EMR-5.18.0(不支持新购) | 2024年12月4日 |
更新内容
服务 | 变更点 |
Spark3 |
|
Trino | 解决了LDAP启用后无法连接的问题。 |
Presto | |
Zookeeper | 支持添加自定义配置。 |
Ranger | 将现有的Spark 3 Ranger插件替换为Kyuubi开源项目提供的版本。 |
Hudi | 升级至0.15.0版本。 |
Celeborn | 升级至0.5.2版本。 |
Paimon | 升级至1.0-ali-1版本。 |
JindoCache | 升级至6.5.3版本。 |
StarRocks3 | 升级至3.2.11版本。 |
StarRocks2 | 升级至2.5.22版本。 |
Impala | 服务已下线。您可以选择使用推荐的服务作为替代,或自行安装相应的服务。 Impala:建议您使用Presto、Trino、ClickHouse或StarRocks替代。 |
Kudu | |
Kafka | |
Kafka-Manager |
EMR-5.17.x
发布日期
版本 | 日期 |
EMR-5.17.4 | 2024年12月18日 |
EMR-5.17.3(不支持新购) | 2024年11月29日 |
EMR-5.17.2(不支持新购) | 2024年08月29日 |
EMR-5.17.1(不支持新购) | 2024年06月21日 |
EMR-5.17.0(不支持新购) | 2024年04月23日 |
更新内容
EMR-5.17.4
服务 | 变更点 |
JindoCache | 升级至6.5.3版本。 |
StarRocks2 | 升级至2.5.22版本。 |
StarRocks3 | 升级至3.2.11版本。 |
EMR-5.17.3
服务 | 变更点 |
JindoSDK | 升级JindoSDK以解决死锁问题。 |
EMR-5.17.2
服务 | 变更点 |
JindoCache |
|
Spark |
|
Trino |
|
Presto | 支持查询高安全OSS-HDFS上的数据。 |
HDFS | 解决了无法修改NameNode和DataNode内存的问题。 |
HBaseHDFS | |
YARN |
|
Zookeeper |
|
Impala | 修复了弹性扩容时修改客户配置的问题。 |
Ranger | 支持新版JindoSDK内核,有效降低了CPU使用率。 |
Knox | 修复了仅有一个Master-Extend时组件URL访问失效的问题。 |
Kafka | 修复了Kafka Connect集群启动的问题。 |
StarRocks | 修复了扩容后看不到新增BE的问题。 |
Doris | 升级至2.1.4版本。 |
Paimon | 升级至0.9-ali-7版本。 |
EMRHOOK | 支持解析MaxCompute表的血缘数据。 |
EMR-5.17.1
服务 | 变更点 |
Spark | 支持部署Master-Extend节点组。 |
Hive | |
Kyuubi | |
Paimon | 将Flink依赖从VVR版本替换为社区版,并支持DLF Catalog。 |
Knox | 使用JDK 8进行打包。 |
Flink | 已恢复在EMR-5.17.0中移除的DLF配置和依赖项。 |
EMR-5.17.0
服务 | 变更点 |
Spark | Spark3升级至3.4.2版本。 |
Celeborn | 升级至0.4.0版本。 |
Doris | 升级至2.1.0版本。 |
StarRocks |
|
DeltaLake | 升级至3.0.0版本。 |
Iceberg | 升级至1.5.0版本。 |
Zookeeper | 升级至3.8.4版本。 |
JindoCache | 升级至6.2.5版本。 |
Flink | 升级至1.17.2版本。 |
EMR-5.16.x
发布日期
版本 | 日期 |
EMR-5.16.0 | 2024年02月19日 |
更新内容
服务 | 变更点 |
Hudi | 升级至0.14.0版本。 |
Flume | 升级至1.11.0版本。 |
Kyuubi | 升级至1.7.3版本。 |
Impala | 升级至4.3.0版本。 |
Celeborn | 升级至0.3.2版本。 |
JindoCache | 升级至6.2.0版本。 |
Paimon | 升级至0.7-ali-1版本。 |
Kafka | 升级至3.6.1版本。 |
StarRocks |
|
Spark | 修复了Commons Text漏洞。 |
Ranger |
|
EMR-5.15.x
发布日期
版本 | 日期 |
EMR-5.15.1 | 2023年11月16日 |
EMR-5.15.0(不支持新购) | 2023年10月27日 |
更新内容
服务 | 变更点 |
JindoCache | 新增服务,版本为6.1.1。 |
JindoData | 不支持选择JindoData。您可以使用新增的JindoCache来实现缓存功能,使用DLF-Auth来实现鉴权功能。 |
Spark | 移除了hive-site.xml中与 |
HBase | 在配置中增加配置项,您可以根据自己的需求选择HBase Thrift Server的版本,包括v1和v2。 |
StarRocks | 升级StarRocks2至2.5.10版本。 |
Doris | 升级Doris至1.2.7版本。 |
Celeborn | 升级Celeborn至0.3.1版本。 |
Paimon | 升级Paimon至0.6-ali-2版本。 |
ClickHouse | 升级ClickHouse至23.3.13.6版本。 |
EMR-5.14.x
发布日期
版本 | 日期 |
EMR-5.14.2 | 2023年8月17日 |
更新内容
服务 | 变更点 |
Trino |
|
Presto |
|
ClickHouse | 默认赋予default用户所有权限。 |
StarRocks |
|
Celeborn | 升级到0.3.0版本。 |
EMR-5.13.x
发布日期
版本 | 日期 |
EMR-5.13.0 | 2023年8月3日 |
更新内容
服务 | 变更点 |
Hudi | 升级到0.13.1版本。 |
Paimon | 升级到0.5-ali-1版本。 |
StarRocks | 升级到2.5.8版本。 |
JindoData | 升级到4.6.11版本。 |
Trino |
|
EMR-5.12.x
发布日期
版本 | 日期 |
EMR-5.12.1 | 2023年7月13日 |
EMR-5.12.0(不支持新购) | 2023年6月1日 |
更新内容
EMR-5.12.1
服务 | 变更点 |
Spark |
|
Hive | Hive warehouse支持默认使用OSS-HDFS存储。 |
OSS-HDFS | 新增服务。 |
YARN | 支持默认使用OSS-HDFS存储。 |
HBase |
|
EMR-5.12.0
服务 | 变更点 |
Kyuubi | 升级到1.7.1版本。 |
Celeborn | 升级到0.2.2版本。 |
Paimon |
|
StarRocks | 升级到2.5.5版本。 |
Doris | 升级到1.2.4版本。 |
ClickHouse | 升级到23.3.2.37版本。 |
Trino | 默认提供了一个简单的Event Listener,可以获取审计日志。 |
Phoenix | 支持Hive on Phoenix。 |
EMR-5.11.x
发布日期
版本 | 日期 |
EMR-5.11.1 | 2023年4月3日 |
EMR-5.11.0(不支持新购) | 2023年2月28日 |
更新内容
EMR-5.11.1
服务 | 变更点 |
ClickHouse | 升级到22.8.14.53版本。 |
Trino | 新增odps.properties连接器,支持查询MaxCompute。 |
JindoData | 升级到4.6.5版本。 |
JindoSDK | 升级到4.6.5版本。 |
Flink-Table-Store | 升级到0.3-ali-2版本。 |
YARN | 支持Node Labels功能管理。 |
EMR-5.11.0
服务 | 变更点 |
Iceberg | 升级到1.1.0版本。 |
Hudi |
|
DeltaLake |
|
Kudu | 升级到1.16.0版本。 |
Clickhouse | 安装ClickHouse服务时必须选择ZooKeeper服务。 |
Celeborn |
|
Presto | 新增服务,内核为社区Facebook PrestoDB 0.278.3版本,默认HTTP端口号为8889,HTTPS端口号为7779。 |
StarRocks | 升级到2.5.1版本。 |
Doris | 升级到1.2.1版本。 |
Kafka-Manager | 升级到3.0.0.6版本。 |
Impala | 升级到4.2.0版本。 |
OpenLDAP | 升级到2.4.46版本。 |
HBase |
|
Flink-Table-Store | 新增服务,基于社区0.3版本。 |
JindoData | 升级到4.6.4版本。 |
EMR-5.10.x
发布日期
EMR-5.10.0 2022年12月1日
更新内容
服务 | 变更点 |
Iceberg | 升级到0.14.1版本。 |
Flink | 升级到Flink1.15-vvr-6.0.2版本,对应社区Flink1.15大版本。 |
Kafka |
|
Trino |
|
JindoSDK | 升级到4.6.2版本。 |
JindoData | 升级到4.6.2版本。 |
HBase |
|
YARN | 高安全模式默认开启ACL。 |
Starrocks | 升级到2.4.1版本。 |
Doris | 升级到1.1.5版本。 |
Hudi | 控制台支持配置hudi-defaults.conf。 |
Ranger |
|
DLF-Auth |
|
OpenLDAP | 对接了Nslcd组件。 |
Kudu | Kudu Tserver不再允许安装在Task节点组中。 |
Spark | 升级至3.3.1版本。 |
Tez | 升级至0.10.2版本。 |
Kyuubi | 升级至1.6.0版本。 |
EMR-5.9.x
发布日期
版本 | 日期 |
EMR-5.9.1 | 2022年11月08日 |
EMR-5.9.0(不支持新购) | 2022年10月14日 |
更新内容
EMR-5.9.1
服务 | 变更点 |
Kerberos | 支持在EMR上对接外部KDC。 |
Kafka | 支持新增启动命令配置项,允许用户自定义设置服务的启动参数。 |
JindoData |
|
Flink | 升级至1.13_vvr_4.0.15版本。 |
RSS | 升级至0.1.4版本。 |
EMR-5.9.0
服务 | 变更点 |
Spark |
|
Hudi |
|
Flink |
|
Iceberg |
|
JindoData |
|
Hadoop-Common和HDFS |
|
Knox | 接入Ranger,支持通过访问链接与端口页签访问Ranger UI。 |
HBase |
|
RSS |
|
Doris |
|
StarRocks |
|
Kafka |
|
DeltaLake |
|
Impala |
|
Kudu | 新增组件。版本为1.14.0。 |
YARN、Ranger、Hive、Kyuubi、Tez、Zookeeper、DLF-Auth、Phoenix、Sqoop、Presto | 支持开启Kerberos身份认证。 |
EMR-5.8.x
发布日期
EMR-5.8.0 2022年8月5日
更新内容
服务 | 变更点 |
Spark | 支持一键对接LDAP。 |
Hive | 支持一键对接LDAP。 |
Presto |
|
DeltaLake |
|
Hudi | 升级至0.11.1版本。 |
HadoopCommon | 新增组件,解决了HDFS、YARN和JindoSDK配置相互覆盖的问题。 |
YARN | 弹性功能增强。 |
Ranger |
|
Kafka | 新增组件,版本为2.12-2.4.1。 |
HBase | 新增组件,版本为2.3.4。 |
Phoenix | 新增组件,版本为5.1.2。 |
Doris | 升级至1.1.1版本。 |
StarRocks |
|
ClickHouse |
|
EMR-5.6.x
发布日期
EMR-5.6.0 2022年4月21日
更新内容
服务 | 变更点 |
JindoData | 新增组件,版本为4.3.0。 |
JindoSDK | 升级至4.3.0版本。 |
Spark | 升级至3.2.1版本。 |
Hive | 修复了TEZ开启Speculation后重复Commit的缺陷。 |
Presto | 修复了Hadoop集群初始化完成后,添加Presto服务后,Presto服务无法启动的缺陷。 |
DeltaLake | DML支持SubQuery。 |
Hudi | 升级至0.10.1版本。 |
Iceberg | 升级至0.13.1版本。 |
YARN | 增加了限制AM只运行在CORE组节点的功能配置。 |
HBase | 修复了HBase2.3.4内核的缺陷。 |
Zookeeper | 优化了JVM的参数配置。 |
Impala | 适配JindoSDK 4.3.0。 |
Sqoop | 升级PostgreSQL版本。 |
Zeppelin | 解决了JDBC Interpreter启动失败的问题。 |
Ranger | Ranger 1.2.0版本Spark Plugin支持Delta和Hudi。 |
Flume | 适配JindoSDK 4.3.0。 |
Oozie | 升级Log4j至2.17.2版本。 |
DLF-Auth | 升级至2.0.0版本。 |
EMR-5.5.x
发布日期
版本 | 日期 |
EMR-5.5.1 | 2022年3月25日 |
EMR-5.5.0(不支持新购) | 2022年2月15日 |
更新内容
EMR-5.5.1
仅新版控制台的OLAP集群支持该版本。
服务 | 变更点 |
Clickhouse | 修改了部分参数的默认值。 |
StarRocks | 升级至2.1.1版本。 |
EMR-5.5.0
服务 | 变更点 |
SmartData | 组件下线。 |
BIGBOOT | |
RSS |
|
JindoSDK |
|
Spark |
|
Tez | 适配JindoSDK。 |
Hive |
|
Presto |
|
Delta Lake |
|
Hudi |
|
HDFS | 适配JindoSDK。 |
YARN |
|
Flume | 适配JindoSDK。 |
Impala | 适配JindoSDK。 |
Ranger |
|
HBase |
|
Clickhouse |
|
Iceberg |
|
DLF-Auth |
|
EMR-5.4.x
本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
EMR-5.4.3 | 2021年12月 |
EMR-5.4.2(不支持新购) | 2021年12月 |
EMR-5.4.1(不支持新购) | 2021年11月 |
EMR-5.4.0(不支持新购) | 2021年10月 |
更新内容
EMR-5.4.3
修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。
服务 | 变更点 |
Presto | 修复了Elasticsearch连接器的Log4j漏洞。 |
DLF Metastore |
|
Delta Lake | 修复了变更Schema同步到Metastore的问题。 |
Sqoop | 修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。 |
EMR-5.4.2
服务 | 变更点 |
SmartData |
|
EMR-5.4.1
服务 | 变更点 |
SmartData | 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介。 |
Oozie | 修复了HA情况下Oozie的Jetty Server依赖JAR包冲突,导致Jetty Server无法启动的问题。 |
Impala | 修复了查询DLF元数据表时提示 |
DLF-Auth | 升级DLF-Auth至1.0.1版本。 |
EMR-5.4.0
服务 | 变更点 |
SmartData | 升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介。 |
Spark |
|
Hive | Hive on JindoFS(Block)支持批量元数据优化功能,默认未开启。 |
Presto | Delta表支持StorageHandler查询。 |
DeltaLake |
|
Hudi |
说明 支持Spark 3.1.2版本。 |
HDFS | NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。 |
Storm | 组件下线。 |
Zeppelin | 升级Zeppelin至社区0.10.0版本。 |
Hue |
|
Druid | 修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。 |
ClickHouse |
|
Iceberg |
|
Knox | 修复了Spark Task第一次访问时失败的问题。 |
DLF-Auth | 新增组件。 支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0。 |
EMR-5.3.x
发布日期
版本 | 日期 |
EMR-5.3.1 | 2021年9月 |
EMR-5.3.0(不支持新购) | 2021年8月 |
更新内容
EMR-5.3.1
服务 | 变更点 |
SmartData | 升级SmartData至3.7.1版本。 |
Hue | 修复了高安全集群无法使用Impala的问题。 |
Kudu | 支持Kerberos。 |
HBase |
|
EMR-5.3.0
服务 | 变更点 |
SmartData | 升级SmartData至3.7.0版本。 |
Spark | 修复了与Delta Lake兼容性的问题。 |
Hive | Hive on JindoFS(Block模式)支持批量元数据优化功能。 默认未开启此功能。 |
DeltaLake |
|
YARN |
|
Zookeeper | 升级至社区3.6.3版本。 |
Flink |
|
Impala | 修复了直接删除OSS分区目录出现list目录循环的问题。 |
Hue | 修复了Hue与Oozie集成使用时界面显示的问题。 |
Kudu | 升级至社区1.14.0版本。 |
Clickhouse | 组件版本为21.3.13.9。 |
Iceberg | 新增Iceberg组件,组件版本为0.12.0。 |
EMR-5.2.x
发布日期
EMR-5.2.1 2021年7月16日
更新内容
服务 | 变更点 |
SmartData | 升级SmartData至3.6.1版本。版本详情,请参见SmartData 3.6.x版本简介。 |
Hive |
|
HDFS | 支持ZSTD(Zstandard)压缩格式。 |
Delta Lake |
|
Flink | 升级Flink至1.12-vvr-3.0.2版本。 |
Hudi |
|
Spark | 重要 EMR-5.2.1版本的Spark(3.1.1)与Kudu(1.11.1)不兼容。
|
Tez | 优化Tez默认参数,以提升作业性能。 |
Ranger |
|
Knox |
|
Kafka |
|
Hue | 修复HUE查询历史记录时,中文乱码的问题。 |
Phoenix | 修复Hive和Spark SQL访问Phoenix表时,报未找到JDBC Driver的问题。 |
ESS(EMR Remote Shuffle Service) | 支持Spark 3。 |