本章节介绍如何通过多种工具和框架提交和调度大数据任务,支持从交互式开发到自动化调度的全流程任务管理。
通过DolphinScheduler提交Spark任务
通过Serverless Spark提交PySpark流任务
通过spark-submit提交任务
通过Apache Airflow提交任务
通过Jupyter Notebook与Serverless Spark进行交互
在PySpark程序中使用Python第三方库
在Notebook中使用Python第三方库
通过Zeppelin Livy Interpreter连接EMR Serverless Spark