2025-01-20 版本

功能分类

功能更新说明

售卖

新增按量付费下的计算资源抵扣包，价格更优惠。

稳定性

• 任务资源申请效率和运行稳定性提升。

• 全面支持跨可用区高可用。

生态对接

• 批/流任务支持对接外部Ranger服务。

• 通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。

数据目录

• 支持使用RAM用户（子账号）身份访问DLF。

• 支持访问DLF 2.0 Hive Catalog。

资源观测

支持观测工作空间、队列的资源消耗情况。

运行环境

Spark Submit工具支持通过配置参数--conf spark.emr.serverless.environmentId=<运行环境id>来指定运行环境。

版本号

说明

esr-4.0.0 (Spark 3.5.2, Scala 2.12)

esr-3.1.0 (Spark 3.4.3, Scala 2.12)

esr-2.5.0 (Spark 3.3.1, Scala 2.12)

• 引擎版本：正式支持Spark 3.5.2。

• Fusion 加速

  • CacheTable优化。

  • 支持读CSV和TEXT格式的表。

  • 支持读取和写入复杂类型的ORC格式。

  • 支持读Hudi格式的表。

  • 支持parse_url函数。

  • 支持concat_ws函数。

  • Window算子优化。

  • Sort算子优化。

• Java Runtime

  • 针对从Driver下载JAR文件造成的性能问题进行了优化，以提升Executor的并发处理能力。

  • 增强了自定义JAR的隔离机制。

  • Insert外表支持插入空数据。

  • 简化内存Committer的配置。

• Paimon

  • 支持自定义Paimon数据路径。

  • 支持创建和使用视图。

  • 支持 CREATE TABLE ... WITH LOCATION 语法。

  • 优化了SHOW TABLES性能。

Celeborn

支持多AZ高可用。