全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

新建任务

更新时间:2017-11-08 15:31:36

DataWorks(数据工场,原大数据开发套件)提供了 2种 任务类型 7种 节点类型:

  • 任务类型:节点任务和工作流任务。

  • 节点类型:虚节点类型,ODPS_SQL 节点类型,SHELL 节点类型,数据同步节点类型,机器学习节点类型,ODPS_MR 节点类型和 OPEN_MR 节点类型。

节点任务 支持单个节点类型适应不同的业务需求。

工作流任务 可以包含多个不同类型的节点及相互关系,共同完成一个比较复杂的数据计算任务。

本文以创建 ODPS_SQL 节点任务为例,介绍如何创建一个节点任务并编辑代码内容。更多任务类型的使用请参见 任务类型示例

新建 ODPS_SQL 节点任务

  1. 用下图所示的任意一种方式,单击 新建任务

  2. 填写新建任务弹出框中的配置项。

    配置项说明:

    • 任务类型:选择节点任务。

    • 类型:选择 ODPS_SQL。

    • 调度类型选择周期调度。

    注意:

    节点任务的调度类型只能选择周期调度,表明该任务如果提交成功,则代码将进入调度系统并按调度属性周期运行。

编辑 ODPS_SQL 节点内容

注意

编写 DDL、DML 语句时,如果涉及到新的数据类型,比如创建或查看的目标表中有新类型时,请在 SQL 前加上 set odps.sql.type.system.odps2=true

ODPS_SQL 任务创建好后,可以在代码编辑器中编写 MaxCompute SQL 语句(该 SQL 的语法为 MaxCompute SQL,与传统 SQL 语法有所不同,详细差异请参考注释)。

编写调试的 MaxCompute SQL 语句后,单击 保存,下次打开该节点即可继续编辑。

由于节点任务有周期调度属性,因此内容建议以计算类语句为主,表操作语句建议使用 可视化建表脚本开发 等其他功能来运行和维护。

编写 MaxCompute SQL 语句,如下所示:

  1. select * from bank_data;

编写调试代码过程中,DataWorks 还提供了快捷键功能,快捷键列表如下:

功能 PC 快捷键 MAC 快捷键
运行 F8 F8
停止 F9 F9
保存 Ctrl+S Cmd+S
撤消 Ctrl+Z Cmd+Z
重做 Ctrl+Y Cmd+Y
查找 Ctrl+F Cmd+F
替换 Ctrl+Shift+F Cmd+Alt+F
删除一行 Ctrl+Shift+K Cmd+Shift+K
同词选择 Ctrl+D Cmd+D
批量同词高亮 Ctrl+Alt+G Cmd+Alt+G
去除高亮 Esc Esc

注意

  • 如果选中要运行的代码中包含 set 语句,在页面运行时,执行每一条非 set 语句前都会依次执行这些 set 语句。

  • 任务中全部代码执行时也是同样的处理。

配置节点任务的调度属性

为使节点周期运行并在每次运行时适应上下文环境,需要为节点配置时间周期和参数。

DataWorks(数据工场)提供了丰富的 时间周期依赖关系 支持,并提供了 基于时间的系统参数和自定义参数 支持,请参考相应文档选择适合您业务需要的配置方式。

代码和参数配置调试完毕后,一个周期任务需要 提交成功 以后才会触发调度系统按配置周期定时产生运行实例并执行代码,提交任务的具体操作请参见 提交任务

本文导读目录