全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

运行任务

更新时间:2017-11-08 13:39:54

DataWorks(数据工场,原大数据开发套件)目前支持 4 种方式来使一个任务中的代码对数据生效:页面直接运行,测试运行,系统自动周期运行和补数据运行。这些运行方式的差别和适用场景,请参见 数据开发概述

页面直接运行适用于代码调试修改,不考虑调度属性配置的情况,或者是不需要提交的直接运行的对象如 脚本开发 等。本文将以 ODPS_SQL 节点任务为例,说明如何在代码编辑页面直接运行。

注意:

  • ODPS_SQL、OPEN_MR、ODPS_MR、SHELL 4 种节点类型支持页面直接运行,其他类型不支持页面直接运行。

  • 页面直接运行时,任务执行在默认资源组上,若有需要执行在自定义资源组上的任务,请使用 测试运行

运行一个任务

双击一个 ODPS_SQL 任务打开编辑区,选择您想要执行的部分语句,然后在操作区单击 运行 按钮即可触发选定代码执行。如果不选择部分代码,而是直接单击 运行,则会默认运行当前任务的全部代码。

运行 ODPS_SQL 节点类型会消耗一定的计算资源和部分存储资源,从而产生费用。因此在正式执行一个 ODPS_SQL 节点任务之前,后付费用户 会看到消费提醒对话框,消费提醒会逐行预估可能的费用,您确认后任务才会开始运行。

注意:

  • 请务必知晓:此消费提醒页面预估的费用仅供参考,以便您判断当前运行可能消耗的费用,实际费用请以最终账单为准

  • 目前在 DataWorks(数据工场)支持的任务和节点类型中,仅 MaxCompute 需要收费,因此仅 ODPS_SQL 类型的任务支持 消费提醒 的功能。

查看运行日志和结果

任务触发运行后,在编辑区下方会显示日志页,如果有语句的运行结果返回了数据集,则在日志页旁显示结果页。结果页支持按行或按列复制等功能,经过项目配置后也支持结果下载。

无论运行几次,日志页只有一个,仅显示最近一次触发运行的日志信息,之前的日志会被覆盖。结果页可以存在多个,按语句执行顺序依次显示,最多可以显示 20 个结果页,方便您进行对比数据等操作。

多个语句触发执行时,这些语句将 串行 执行,日志内容依次显示在日志页中,结果则按每个语句的执行顺序分别显示在不同的结果页中。

注意

如果选中要运行的代码中包含 set 语句,在页面运行时,执行每一条非 set 语句之前都会依次执行这些 set 语句,任务中全部代码执行时也是同样的处理。其他运行方式没有此逻辑而是按顺序依次串行执行。

复制或下载数据

触发运行后如有数据返回,将在编辑区下发的结果页显示。结果页可以分页查看返回的数据集,支持选中部分数据复制,或全量数据下载。

  • 管理员在项目配置中开通下载功能后方可使用。如果当前项目不开放下载功能,则 下载 按钮不可见。

  • 运行 select 语句时系统默认仅获取数据集的前 10000 条 记录,故请控制每次查询产生的记录数。如需一次性获取超过 10000 条的记录数,请参见 MaxCompute SQL 运行结果的导出方法汇总

本文导读目录