2024-12-11版本

本文为您介绍2024年12月11日发布的EMR Serverless Spark的功能变更。

概述

2024年12月11日,我们正式对外发布Serverless Spark新版本,包括平台管理、性能优化以及引擎能力。

平台侧

功能分类

功能更新说明

Gateway

支持Kyuubi Gateway(Beta),部署Kyuubi服务,并通过Kyuubi Thrift接口实现向Serverless Spark提交任务的功能。

访问控制

支持对接使用启用了Kerberos认证的Hive Metastore。在向Serverless Spark提交任务时,可以通过Kerberos进行用户账号认证。

引擎侧

版本号

说明

esr-4.0.0 (Spark 3.5.2, Scala 2.12)

支持Spark 3.5.2。

esr-3.0.1 (Spark 3.4.3, Scala 2.12)

esr-2.4.1 (Spark 3.3.1, Scala 2.12)

Fusion加速:JSON处理时忽略末尾的无效数据。