全部产品
大数据开发套件

新建任务

更新时间:2017-09-04 20:12:51   分享:   

大数据开发套件提供了 2种 任务类型 7种 节点类型:

  • 任务类型:节点任务和工作流任务。

  • 节点类型:虚节点类型,ODPS_SQL 节点类型,SHELL 节点类型,数据同步节点类型,机器学习节点类型,ODPS_MR 节点类型和 OPEN_MR 节点类型。

节点任务 支持单个节点类型适应不同的业务需求。

工作流任务 可以包含多个不同类型的节点及相互关系,共同完成一个比较复杂的数据计算任务。

本文以创建 ODPS_SQL 节点任务为例,介绍如何创建一个节点任务并编辑代码内容。更多任务类型的使用请参见 任务类型示例

新建 ODPS_SQL 节点任务

  1. 用下图所示的任意一种方式,单击 新建任务

  2. 填写新建任务弹出框中的配置项。

    配置项说明:

    • 任务类型:选择节点任务。
    • 类型:选择 ODPS_SQL。
    • 调度类型选择周期调度。

注意:

节点任务的调度类型只能选择周期调度,表明该任务如果提交成功,则代码将进入调度系统并按调度属性周期运行。

编辑 ODPS_SQL 节点内容

ODPS_SQL 任务创建好后,可以在代码编辑器中编写 MaxCompute SQL 语句(该 SQL 的语法为 MaxCompute SQL,与传统 SQL 语法有所不同,详细差异请参考注释)。

编写调试的 MaxCompute SQL 语句后,单击 保存,下次打开该节点即可继续编辑。

由于节点任务有周期调度属性,因此内容建议以计算类语句为主,表操作语句建议使用 可视化建表脚本开发 等其他功能来运行和维护。

比如可以编写 MaxCompute SQL 语句如下:

  1. select * from bank_data

编写调试代码过程中,大数据开发套件还提供了快捷键功能,快捷键列表如下:

功能 PC 快捷键 MAC 快捷键
运行 F8 F8
停止 F9 F9
保存 Ctrl+S Cmd+S
撤消 Ctrl+Z Cmd+Z
重做 Ctrl+Y Cmd+Y
查找 Ctrl+F Cmd+F
替换 Ctrl+Shift+F Cmd+Alt+F
删除一行 Ctrl+Shift+K Cmd+Shift+K
同词选择 Ctrl+D Cmd+D
批量同词高亮 Ctrl+Alt+G Cmd+Alt+G
去除高亮 Esc Esc

注:如果选中要运行的代码中包含set语句,在页面运行时,执行每一条非set语句之前都会依次执行这些set语句;任务中全部代码执行时也是同样的处理。

配置节点任务的调度属性

为使节点周期运行并在每次运行时适应上下文环境,需要为节点配置时间周期和参数。

大数据开发套件提供了丰富的 时间周期依赖关系 支持,并提供了 基于时间的系统参数和自定义参数 支持,请参考相应文档选择适合您业务需要的配置方式。

代码和参数配置调试完毕后,一个周期任务需要 提交成功 以后才会触发调度系统按配置周期定时产生运行实例并执行代码,提交任务的具体操作请参见 提交任务

本文导读目录
本文导读目录
以上内容是否对您有帮助?