Dataphin如何创建基于MaxCompute引用Python脚本的Spark任务

概述

本文为您介绍Dataphin如何创建基于MaxCompute引用Python脚本的Spark任务。

详细信息

1.编写Python脚本（注：脚本中需根据Spark版本初始化Spark context，详情可参考MaxCompute关于PySpark的官方文档）

2.上传该Python脚本至Dataphin，作为Dataphin中的资源。

3.创建SPARK_JAR_ON_MAX_COMPUTE任务，并在任务中引用该资源，以下示例代码中只需改变引用资源名称，其他为固定代码。

适用于

• Dataphin（公共云）