文档

2024-09-14版本

更新时间:

本文为您介绍2024年9月14日发布的EMR Serverless Spark的功能变更。

概述

2024年09月14日,我们正式对外发布Serverless Spark新版本,包括平台升级、生态对接、性能优化以及引擎能力。

平台侧

功能分类

功能更新说明

工作空间管理

  • 支持调整额配。

  • 支持RAM角色添加或删除工作空间。

  • 优化工作空间状态流转,支持返回错误信息。

运行环境管理

您可以根据业务需求创建运行环境,并在该环境中添加所需的库。目前,系统支持在Notebook会话中使用运行环境。在Notebook会话启动时,系统将根据所选环境预装相关库。更多信息,请参见管理运行环境

引擎侧

版本号

说明

esr-2.2 (Spark 3.3.1, Scala 2.12)

  • Fusion加速

    • 支持WindowTopK算子。

    • 优化了Shuffle性能。

    • 修复了因缩容导致的偶发Task Deserialization长耗时问题。

    • 针对尚未支持的Paimon算子自动回退。

    • Driver日志支持打印CU消耗。

  • Java Runtime

    • 支持SIMD JSON加速。

esr-2.3 (Spark 3.4.2, Scala 2.12) Alpha

支持DLF2.0 Paimon Catalog。