EMR-5.x系列版本说明

服务

变更点

JindoCache

升级至6.5.3版本。

StarRocks2

升级至2.5.22版本。

StarRocks3

升级至3.2.11版本。

服务

变更点

JindoSDK

升级JindoSDK以解决死锁问题。

服务

变更点

JindoCache

• 升级至6.5.1版本。

• 提升DHT（Distributed Hash Table）的读写性能。

Spark

• 修复了无法删除分区目录的问题。

• 修复了Hive包依赖问题，确保客户端操作不中断与metaStoreClient的连接。

Trino

• 修复了扩容过程中可能导致部分已修改配置意外恢复的问题。

• 支持查询高安全OSS-HDFS上的数据。

• 修复启用DLF-AUTH后服务异常的问题。

Presto

支持查询高安全OSS-HDFS上的数据。

HDFS

解决了无法修改NameNode和DataNode内存的问题。

HBaseHDFS

YARN

• ResourceManager支持批量发送timeline事件，提升了处理能力。

• 修复了ResourceManager中容器和资源处理的逻辑问题。

Zookeeper

• 解决了无法修改节点组内存配置的问题。

• 支持重构日志配置文件。

Impala

修复了弹性扩容时修改客户配置的问题。

Ranger

支持新版JindoSDK内核，有效降低了CPU使用率。

Knox

修复了仅有一个Master-Extend时组件URL访问失效的问题。

Kafka

修复了Kafka Connect集群启动的问题。

StarRocks

修复了扩容后看不到新增BE的问题。

Doris

升级至2.1.4版本。

Paimon

升级至0.9-ali-7版本。

EMRHOOK

支持解析MaxCompute表的血缘数据。

服务

变更点

Spark

支持部署Master-Extend节点组。

Hive

Kyuubi

Paimon

将Flink依赖从VVR版本替换为社区版，并支持DLF Catalog。

Knox

使用JDK 8进行打包。

Flink

已恢复在EMR-5.17.0中移除的DLF配置和依赖项。

服务

变更点

Spark

Spark3升级至3.4.2版本。

Celeborn

升级至0.4.0版本。

Doris

升级至2.1.0版本。

StarRocks

• StarRocks2升级至2.5.18版本。

• StarRocks3升级至3.2.4版本。

DeltaLake

升级至3.0.0版本。

Iceberg

升级至1.5.0版本。

Zookeeper

升级至3.8.4版本。

JindoCache

升级至6.2.5版本。

Flink

升级至1.17.2版本。

服务

变更点

Spark

• Spark History Server支持默认使用OSS-HDFS存储。

• Spark3 Native Engine支持使用OSS和OSS-HDFS存储。

Hive

Hive warehouse支持默认使用OSS-HDFS存储。

OSS-HDFS

新增服务。

YARN

支持默认使用OSS-HDFS存储。

HBase

• HBase HFile数据支持默认使用OSS-HDFS存储。

• HBase WAL日志支持使用OSS-HDFS存储。

服务

变更点

Kyuubi

升级到1.7.1版本。

Celeborn

升级到0.2.2版本。

Paimon

• Flink-Table-Store更名为Paimon。

• 升级到0.4-ali-1版本。

StarRocks

升级到2.5.5版本。

Doris

升级到1.2.4版本。

ClickHouse

升级到23.3.2.37版本。

Trino

默认提供了一个简单的Event Listener，可以获取审计日志。

Phoenix

支持Hive on Phoenix。

服务

变更点

ClickHouse

升级到22.8.14.53版本。

Trino

新增odps.properties连接器，支持查询MaxCompute。

JindoData

升级到4.6.5版本。

JindoSDK

升级到4.6.5版本。

Flink-Table-Store

升级到0.3-ali-2版本。

YARN

支持Node Labels功能管理。

服务

变更点

Iceberg

升级到1.1.0版本。

Hudi

• 升级到0.12.2版本。

• 支持CDC功能。

DeltaLake

• 升级到2.2.0版本。

• 支持Vacuum记录到事务日志。

Kudu

升级到1.16.0版本。

Clickhouse

安装ClickHouse服务时必须选择ZooKeeper服务。

Celeborn

• RSS更名为Celeborn。

• Celeborn的版本为0.2.0。

Presto

新增服务，内核为社区Facebook PrestoDB 0.278.3版本，默认HTTP端口号为8889，HTTPS端口号为7779。

StarRocks

升级到2.5.1版本。

Doris

升级到1.2.1版本。

Kafka-Manager

升级到3.0.0.6版本。

Impala

升级到4.2.0版本。

OpenLDAP

升级到2.4.46版本。

HBase

• 支持JDK 11。

• 支持ThriftServer2。

• 参数hbase.block.data.cachecompressed的默认值改为true。

Flink-Table-Store

新增服务，基于社区0.3版本。

JindoData

升级到4.6.4版本。

服务

变更点

Kerberos

支持在EMR上对接外部KDC。

Kafka

支持新增启动命令配置项，允许用户自定义设置服务的启动参数。

JindoData

• 升级至4.6.0版本。

• 支持改写OSS-HDFS访问路径。

Flink

升级至1.13_vvr_4.0.15版本。

RSS

升级至0.1.4版本。

服务

变更点

Spark

• 升级至3.3版本。

• 支持开启Kerberos身份认证。

Hudi

• 升级至0.12.0版本。

• 支持Spark 3.3版本。

• 支持使用云上MetaStore托管元数据并开启加速功能，详情请参见Hudi MetaStore使用说明。

Flink

• 支持开启Kerberos身份认证。

• 支持与数据湖构建（DLF）自动连接。

Iceberg

• 升级至0.14.0版本。

• 支持Spark 3.3版本。

• 支持开启Kerberos身份认证。

JindoData

• 升级至4.5.1版本。

• 支持免AccessKey方式访问阿里云资源。

Hadoop-Common和HDFS

• 支持开启Kerberos身份认证。

• 修复安全漏洞CVE-2022-25168。

Knox

接入Ranger，支持通过访问链接与端口页签访问Ranger UI。

HBase

• 升级至2.4.9版本。

• 支持开启Kerberos身份认证。

• 支持分组配置。

RSS

• 升级至0.1.2版本。

• 支持开启Kerberos身份认证。

Doris

• 升级至1.1.2版本。

• 支持开启Kerberos身份认证。

StarRocks

• 升级至2.3.2版本。

• 支持开启Kerberos身份认证。

Kafka

• 升级至2.13_3.2.1版本。

• 支持开启Kerberos身份认证。

DeltaLake

• 支持升级至2.1.0版本。

• 支持Spark 3.3版本。

• 支持开启Kerberos身份认证。

Impala

• 支持DLF创建视图。

• 支持开启Kerberos身份认证。

Kudu

新增组件。版本为1.14.0。

YARN、Ranger、Hive、Kyuubi、Tez、Zookeeper、DLF-Auth、Phoenix、Sqoop、Presto

支持开启Kerberos身份认证。

服务

变更点

Clickhouse

修改了部分参数的默认值。

StarRocks

升级至2.1.1版本。

服务

变更点

SmartData

组件下线。

BIGBOOT

RSS

• 升级ESS服务为RSS。

• 增强了服务的功能和稳定性。

JindoSDK

• 升级架构为JindoData。

• EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等。

Spark

• COUNT DISTINCT函数支持IF语句以及优化Case when的用法。

  设置参数spark.sql.optimizer.rewriteConditionalDistinctAggregates为true。

• Shuffle Hash Join支持fallback到Sort Merge Join。

  设置参数spark.sql.join.preferSortMergeJoin为false，设置参数spark.sql.join.enableShuffledHashJoinFallback为true。

• 支持非动态分区自动合并小文件。

  设置spark.sql.adaptive.merge.output.small.files.enabled参数为true。

• GroupingSet以及Distinct等场景会自动调整并发度。

  设置参数spark.sql.execution.optimizeExpand为true。

• 优化了Hive on Spark。

• 支持Time Travel语法。

• 适配JindoSDK。

Tez

适配JindoSDK。

Hive

• 优化了Hive Jindo批量删除的问题。

• 优化了HiveServer2 OOM问题。

• 优化了Hive on Spark。

• 适配JindoSDK。

Presto

• 升级Presto至社区358版本。

• 默认增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta连接器，并更新默认配置。

• 支持数据湖分析。

• 支持UDF动态加载功能。

• 适配JindoSDK。

Delta Lake

• 版本升级

  • 升级至1.1.0版本，兼容Spark 3.2.0。

  • 所有商业版功能迁移至1.1.0版本。

• 元数据管理

  • 优化元数据修改同步到metastore的部分。

  • 自动上报表的统计信息（dataProfiling）到metastore。

• SQL

  • 支持Time Travel语法。

  • 支持DropPartition SQL语法。

  • 支持SQL动态分区覆盖写。

  • 支持指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增强

  • 支持并默认开启可以根据表大小动态调整文件大小。

  • 支持并默认开启自动Vacuum，支持并发Vacuum。

  • 优化了自动Compaction的逻辑，默认关闭。

  • 新增Zorder语法，并加速了Zorder的处理过程。

Hudi

• 升级至0.10.0版本。

• 支持Spark 3.2.0版本。

• 支持JindoFS Block模式。

HDFS

适配JindoSDK。

YARN

• 适配RSS内存配置。

• 适配JindoSDK。

Flume

适配JindoSDK。

Impala

适配JindoSDK。

Ranger

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。

HBase

• 修复了默认参数存在的问题。

• 修复了GC日志日期格式问题。

Clickhouse

• 新增HDFS和OSS磁盘类型， 支持数据冷热分离，详情请参见使用HDFS进行数据冷热分离和使用OSS进行数据冷热分离。

• 在Replicated*MergeTree情况下，支持的磁盘类型为OSS、HDFS和S3的Zero Copy。

• 优化了ClickHouse组件Stop时的处理逻辑。

Iceberg

• 升级至0.13.0版本。

• 支持Presto 358版本。

DLF-Auth

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。

服务

变更点

SmartData

• 升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。

• 支持OSS基于Kerberos和Ranger的认证和授权管理。

服务

变更点

SmartData

升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。

Oozie

修复了HA情况下Oozie的Jetty Server依赖JAR包冲突，导致Jetty Server无法启动的问题。

Impala

修复了查询DLF元数据表时提示no such method error的问题。

DLF-Auth

升级DLF-Auth至1.0.1版本。

服务

变更点

SmartData

升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。

Spark

• 升级Spark至3.1.2版本。

• Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。

• 修复了AQE在Stats缺失情况下数组越界的问题。

• 修复了AQE和Cache在特定场景下报错的问题。

Hive

Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。

Presto

Delta表支持StorageHandler查询。

DeltaLake

• 升级DeltaLake至1.0.0版本。

• 统一Hive 2和Hive 3的delta-connectors。

• 修复了delta-connectors查询多级分区表时的报错问题。

• 支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。

• 支持同步Meta到MetaStore。

Hudi

• 升级Hudi至0.9.0版本。

• 修复了DeltaLake和Hudi的sql.extension的兼容性问题。

HDFS

NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。

Storm

组件下线。

Zeppelin

升级Zeppelin至社区0.10.0版本。

Hue

• 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。

• 默认配置中放开YARN Job Browser。

• 默认配置中支持Presto协议。

Druid

ClickHouse

• 更新了默认配置。

• 支持集群扩容。

• 支持MetaChecker功能。

• 支持OSS表引擎和OSS表函数读数据。

Iceberg

• 升级Iceberg至0.12.0-1.0.1版本。

• 修改了Hive Runtime依赖报错问题。

Knox

DLF-Auth

服务

变更点

SmartData

升级SmartData至3.7.1版本。

Hue

修复了高安全集群无法使用Impala的问题。

Kudu

支持Kerberos。

HBase

• 修复了高安全集群重启HBase耗时过长的问题。

• 修复了Spark 3.1.1版本与HBase集成使用时失败的问题。

• 优化了Graceful Stop流程。

服务

变更点

SmartData

升级SmartData至3.7.0版本。

Spark

修复了与Delta Lake兼容性的问题。

Hive

Hive on JindoFS（Block模式）支持批量元数据优化功能。

默认未开启此功能。

DeltaLake

• 支持DeltaLake的分区特性。

• 修复了desc detail命令和Spark 3.1.1版本不兼容的问题。

YARN

• 节点Containers REST API增加了appId，CPU和Memory资源使用信息。

• 修复了弹性伸缩释放节点上AM日志无法查看的问题。

• 修复了State Store历史数据造成集群不可用的问题。

• 支持弹性伸缩Decommission后清理释放的节点。

• 完善了弹性伸缩Graceful Decommission的操作逻辑，待NM进程结束后再标记下线完成。

Zookeeper

升级至社区3.6.3版本。

Flink

• 新增了SmartData组件。

• 修复了SSH到DataFlow-Flink集群中提交作业时，无法免密访问OSS的问题。

Impala

修复了直接删除OSS分区目录出现list目录循环的问题。

Hue

修复了Hue与Oozie集成使用时界面显示的问题。

Kudu

升级至社区1.14.0版本。

Clickhouse

组件版本为21.3.13.9。

Iceberg

新增Iceberg组件，组件版本为0.12.0。