使用Spark客户端

更新时间:
复制为 MD 格式

在当前页面下载Spark客户端后,即可通过 spark-submit 命令提交作业。支持的Spark版本列表如下,推荐选用Spark 3及以上版本。

Spark-submit

Spark 的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。它可以通过统一的接口使用 Spark 支持的所有集群管理器,因此无需为每个集群管理器专门配置应用程序。详情参考Spark官网

Spark发布列表

发布版本

下载

说明

Spark3.5.2

Spark-3.5.2-odps0.49.0

  • 支持并发读

  • 向量化读写表全类型支持

  • 支持读写三层模型Project

  • K8s调度支持

  • Shuffle Service支持

Spark3.4.2

Spark-3.4.2-odps0.48.0

  • 支持并发读

  • 向量化读写表全类型支持

  • 支持读写三层模型Project

  • K8s调度支持

  • Shuffle Service支持

Spark3.1.1

Spark-3.1.1-odps0.47.0

  • 向量化读写表全类型支持

  • 支持读写三层模型Project

  • 支持读schema evolution

  • 支持读oss/ots外部表

  • 支持动态资源伸缩

Spark2.4.5

Spark-2.4.5-odps0.47.0

  • 向量化读表全类型支持

  • 支持读schema evolution

  • 支持读oss/ots外部表

  • 支持动态资源伸缩

Spark2.3.0

Spark-2.3.0-odps0.47.0

  • 向量化读表全类型支持

  • 读表性能提升

  • odps-sdk0.30.12升级到0.35.9

    • 支持StsAccount提交任务

    • local模式支持overwrite

    • 去除fastjson依赖

  • 分区列类型支持

    • 分区列支持STRING、VARCHAR、CHAR、TINYINT、SMALLINT、INT、BIGINT数据类型