全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

脚本开发

更新时间:2017-08-18 10:44:13

脚本文件是对周期任务的补充,通常用于辅助数据开发过程,主要用于实现非周期的临时数据处理,如临时表的增删改等,因此不包含周期属性和依赖关系。

脚本文件仅支持 ODPS_SQL 和 SHELL 两种类型,并且仅支持页面直接运行生效,不支持发布,主要使用流程如下图所示:

新建脚本

  1. 选中脚本目录,右键单击 新建脚本

  2. 填写新建脚本文件弹出框中的配置。如下图所示:

    1

    配置说明:

    • 文件名称:输入脚本文件的名称。
    • 类型:选择文件类型,有 ODPS_SQL 类型和 SHELL 类型。
    • 描述:输入对脚本文件的描述。
    • 选择目录:选择脚本文件存放的文件目录。
  3. 脚本信息输入完毕后,单击 提交,脚本文件创建成功。

  4. 打开创建好的脚本文件,即可进行脚本编辑。

编辑保存并运行

编辑脚本

脚本文件通常用于实现非周期的临时数据处理,如临时表的增删改,一次性的数据初始化或查询任务等。脚本编辑完成后,单击 保存,下次打开网页时即可看到最近一次保存的内容。

运行代码

保存完毕后,可以选中部分代码单击 运行。也可以不选中任何代码而直接 运行,那么将运行全部代码。

如果您正在使用 ODPS_SQL 类型的脚本,具体语法请参见 MaxCompute SQL 概要MaxCompute SQL 限制项汇总MaxCompute SQL 与标准 SQL 的主要区别及解决方法 等文档。

如果您正在使用 SHELL 类型的脚本,请参考标准 SHELL 语法。

注意

如果执行 ODPS_SQL 类型的脚本,会消耗一定的计算资源和部分存储资源,从而产生费用。因此在正式执行一个 ODPS_SQL 脚本之前,后付费用户 会看到消费提醒对话框,消费提醒会逐行预估可能的费用,经您确认并单击 运行 后任务才会开始运行。

  • 请务必知晓:此消费提醒页面预估的费用仅供参考,以便您判断当前运行可能消耗的费用,小于1分钱按一分钱估算,实际费用请以最终账单为准
  • 目前在大数据开发套件支持做数据开发工作时,仅 MaxCompute 需要收费,因此仅 ODPS_SQL 类型的任务和脚本支持 消费提醒 的功能。

查看日志

任务触发运行后,在编辑区下方会显示日志页,如果有语句的运行结果返回了数据集,则在日志页旁显示结果页。结果页支持按行或按列复制等功能,经过项目配置后也支持结果下载。

无论运行几次,日志页只有一个,仅显示最近一次触发运行的日志信息,之前的日志会被覆盖。结果页可以存在多个,按语句执行顺序依次显示,最多可以显示 20个结果页,方便您进行对比数据等操作。

多个语句触发执行时,这些语句将 串行 执行,日志内容依次显示在日志页中。结果则按每个语句的执行顺序分别显示在不同的结果页中。

删除脚本

右键单击选中的脚本,选择 删除 即可。

其他功能

1搜索:输入关键字进行搜索。

1新建目录:填写新建目录名称后可在脚本开发下新建目录。

1 刷新:刷新当前脚本开发目录。

1 定位到文件树:定位到当前脚本文件所在目录。

本文导读目录