DataWorks提供ODPS Spark节点类型,本文将为您介绍如何新建和配置ODPS Spark节点。

WordCount

  1. 登录DataWorks控制台,单击相应工作空间的进入数据开发
  2. 右键单击数据开发下的业务流程,选择新建业务流程
  3. 右键单击资源,选择新建资源 > JAR,上传编译的Jar包。

    WordCount的示例代码请参见WordCount

  4. 右键单击业务流程下的数据开发,选择新建数据开发节点 > ODPS Spark,新建ODPS Spark节点。
  5. 填写ODPS Spark对话框中的配置。
  6. 配置完成后,发布和执行该节点。

Python读写表

  1. 准备好Python代码,并上传Python资源。
  2. 新建并配置ODPS Spark节点。
  3. 配置完成后,发布和运行该节点。

Lenet(BigDL)

  1. 上传Jar包和数据(以archive资源类型上传mnist.zip)。
  2. 新建并配置ODPS Spark节点。
  3. 配置完成后,发布和运行该节点。