PAI-DSW连接EMR Serverless Spark提交PySpark任务

阿里云人工智能PAI-DSW提供了云端AI开发IDE或开发机,内置多种开发环境,可以快速开始模型开发。您可以在DSW中,利用Serverless Spark提供的Livy API,远程连接Serverless Spark,并将PySpark任务提交至服务端进行执行。

使用示例

以“PAI-DSW+EMR Serverless Spark训练线性回归模型”为例,您将学习:

  1. DSW中安装sparkmagic插件

  2. 配置与启动Spark Session

  3. 使用PySpark开发并提交训练任务

  4. 释放Session资源

详细教程,请参见PAI-DSW+EMR Serverless Spark训练线性回归模型