2025-09-17版本

功能分类

功能更新说明

相关文档

密文管理

新增支持工作空间级别的密文管理，避免明文AccessKey、密码等信息带来的安全风险。

通过密文管理敏感信息

运行环境管理

新增支持按照指定Python版本配置运行环境。

管理运行环境

纳管文件目录

新增功能支持在数据开发批任务中挂载纳管文件目录。挂载后，用户可以在批任务中对纳管文件目录中的文件进行读写操作。

纳管文件目录

任务历史

新增支持按照资源配置、Spark配置、运行参数筛选任务。

Kyuubi Gateway

• 单工作空间内支持创建多个Kyuubi Gateway。

• 在关联 DLF 2.5 Catalog 下，Token 的创建支持用户授权，并进行 Kyuubi 及 DLF 2.5 的认证与鉴权。

• 管理Kyuubi Gateway

• 管理数据目录

Livy Gateway

支持配置启用Ranger鉴权。

为Livy Gateway配置并启用Ranger鉴权

Notebook

支持R语言。

版本号

说明

esr-2.7.1 (Spark 3.3.1, Scala 2.12)

esr-2.8.0 (Spark 3.3.1, Scala 2.12)

esr-3.3.1 (Spark 3.4.4, Scala 2.12)

esr-3.4.0 (Spark 3.4.4, Scala 2.12)

esr-4.3.1 (Spark 3.5.2, Scala 2.12)

esr-4.4.0 (Spark 3.5.2, Scala 2.12)

esr-4.5.0 (Spark 3.5.2, Scala 2.12)

• Fusion 加速

  • Sort算子优化。

  • Spill优化。

  • Json Datasource优化。

  • Project合并优化。

  • 大模型文本去重场景优化。

  • Spark SQL支持OSS解冻语法。

  • Jindo SDK 升级至 6.10.0。

  • UDF细粒度fallback优化。

  • 优化regexp_replace。

  • Notebook内置DuckDB。

• 湖格式

  • 【DLF2.5】完整支持DLF2.5 PaimonCatalog和IcebergCatalog。

  • 【Paimon】优化读写。

  • 【Paimon】支持多Catalog联邦查询和写入。

  • 【Paimon】优化file open cost配置。

  • 【Iceberg】支持多Catalog。

  • 【Lance】支持DLF Lance Table。

• Spark框架

  • esr-4.5.0升级到java17。

  • 优化insert overwrite非分区表。

  • 提升spark和hive兼容性。

  • 优化MC Connector。

  • Executor连续失败自动fail作业。

Celeborn

• Shuffle Write倾斜优化。

• 稳定性优化。

• 性能优化。