DataWorks提供ODPS Spark节点类型,本文以JAR类型的资源为例,为您介绍如何新建和配置ODPS Spark节点。

新建并上传资源

  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. DataStudio(数据开发)页面,新建JAR资源。
    您可以通过以下两种方式新建JAR资源:
    • 鼠标悬停至新建,单击MaxCompute > 资源 > JAR
    • 打开相应业务流程下的MaxCompute,右键单击资源,选择新建 > JAR
  3. 新建资源对话框中,输入资源名称,并选择目标文件夹
    说明 如果绑定多个实例,则需要选择MaxCompute引擎实例

    WordCount的示例代码请参见WordCount

  4. 单击点击上传,选择相应的文件进行上传。
  5. 单击确定

新建ODPS Spark

  1. 新建ODPS Spark节点。
    您可以通过以下两种方式新建ODPS Spark节点:
    • DataStudio(数据开发)页面,鼠标悬停至新建,单击MaxCompute > ODPS Spark
    • 打开相应的业务流程,右键单击MaxCompute,选择新建 > ODPS Spark
  2. 新建节点对话框中,输入节点名称,并选择目标文件夹,单击提交
    说明 节点名称的长度不能超过128个字符。
  3. 配置ODPS Spark编辑页面的参数。填写配置

    您可以根据自身需求,选择spark版本语言。选择不同的语言,会显示相应不同的配置,您可以根据界面提示进行配置。ODPS Spark的详情请参见MaxCompute Spark概述

    此处以Java/Scala语言为例。
    参数 描述
    spark版本 包括Spark1.xSpark2.x两个版本。
    语言 包括Java/ScalaPython两种语言,此处选择Java/Scala
    选择主jar资源 选择下拉框中显示的您已上传的JAR资源。
    配置项 单击添加一条,即可配置keyvalue
    Main Class 选择类名称。
    参数 添加参数,例如${bizdate} ${yesterday}。多个参数之间用空格分隔。
    选择jar资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的JAR资源。
    选择file资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的File资源。
    选择archives资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的Archives资源,仅展示压缩类型的资源。

    配置完成后,您可以在该页面进行保存提交等操作,详情请参见ODPS Spark节点界面功能点

  4. 节点调度配置。

    单击节点编辑区域右侧的调度配置,即可进入节点调度配置页面,详情请参见调度配置

  5. 提交节点任务。

    完成调度配置后,单击左上角的保存,提交(提交并解锁)到开发环境。

  6. 发布节点任务。

    具体操作请参见发布管理

  7. 在生产环境测试。

    具体操作请参见周期任务