Dataphin的资源上传中Spark-On-Odps 参考案例

 

产品名称

Dataphin

 

 

产品模块

函数管理、资源管理

概述

1.Spark版本

目前伏地魔中SparkOnMaxCompute的支持的Spark版本为2.1.0

2.Spark-On-MaxCompute支持参照文档

http://help.aliyun-inc.com/internaldoc/detail/58750.html?spm=a2c1f.8259796.2.246.auDNMt#3.1.2%20Spark-Example%E5%87%86%E5%A4%87

3.IDE中使用方法

首先上传SparkJar

这里给出一个示例SparkJar包.

spark-examples-2.0.0-SNAPSHOT-shaded.jar.zip

上面的附件下载后, 解压可以得到对应的Jar包.

具体在使用的时候, 首先在IDE上传资源, 见图1.

图1. SparkOnMaxCompute示例Jar包上传资源示意图

 

接下来创建节点, 引用资源

下面给出了具体的节点代码内容, 点击执行即可

@resource_reference{"Spark_On_MaxCompute_Sample.jar"} spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi Spark_On_MaxCompute_Sample.jar

更多信息

 

相关文档