全部产品
大数据开发套件

基本概念

更新时间:2017-08-07 20:13:32   分享:   

任务(Task)

任务是指定义对数据执行的操作。示例如下:

  • 使用数据同步节点任务将数据从 RDS 复制到 MaxCompute。
  • 使用 MaxCompute SQL 节点任务运行 MaxCompute SQL 来进行数据的转换。
  • 使用工作流任务,通过内部几个不同的 SQL 内部节点完成一系列的数据转换。

每个任务使用 0 或 0 个以上的数据表(数据集)作为输入,生成一个或多个数据表(数据集)作为输出。

任务主要分为三种:节点任务(node task),工作流任务(flow task)和内部节点(inner node)。三种类型的关系如下图所示:

1

  • 节点任务(node task):一个数据执行的操作。可以与其他节点任务、工作流任务配置依赖关系,组成 DAG 图。

  • 工作流任务(flow task):解决一个小业务的一组内部节点组成一个工作流任务。工作流任务数量建议小于 10 个。工作流任务内部节点,无法被其他工作流任务、节点任务依赖,工作流任务可以与其他工作流任务、节点任务配置依赖关系,组成 DAG 图。

  • 内部节点(inner node):工作流任务内部的节点,与节点任务能力基本相同。其调度周期会继承工作流任务的调度周期,无法进行单独配置,依赖关系也按照拖拽关系。

数据执行可以选择的操作类型,请参见 任务类型介绍

任务的调度参数配置,请参见 调度配置介绍

实例(Instance)

在调度系统中的任务经过调度系统、手动触发运行后会生成一个实例,实例代表了某个任务在某时某刻执行的一个快照,实例中会有任务的运行时间、运行状态、运行日志等信息。示例如下:

假如设置每天 2:00 运行 task1 任务,调度系统会在每天 23:30 根据周期节点任务定义好的时间自动生成一个快照,也就是 task1 的一个第二天 2:00 运行的实例,到第二天 2:00 时,同时判断上游任务已经完成,task1 实例便会如期启动运行。

您可以在运维中心->任务运维页面查询任务实例的相关信息。

提交(Submit)

提交是指开发的节点任务、工作流任务从开发 IDE 环境发布到调度系统的过程。完成提交以后,相应的代码、调度配置全部合并到调度系统中,调度系统按照相关配置进行调度操作。

未提交的节点任务、工作流任务不会进入到调度系统。

脚本开发(Script)

脚本开发是提供给数据分析使用的一个代码存储空间,脚本开发的代码无法发布到调度系统,无法进行调度参数配置,仅可以进行一些数据查询分析的工作。

资源、函数

资源、函数均为 MaxCompute 的概念,详情请参见 MaxCompute 资源MaxCompute 函数

在大数据开发套件中,可以通过界面管理资源、函数。如果通过 MaxCompute 的其他方式进行资源、函数管理,则无法在大数据开发套件中进行相关的查询。

本文导读目录
本文导读目录
以上内容是否对您有帮助?