基本概念

本文汇总使用EMR Workflow过程中涉及的基本概念,方便您查询和了解相关概念。

概念

说明

工作空间

工作空间是EMR Workflow管理项目、工作流,分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间,并赋予工作角色,以实现多角色协同工作。

调度资源组

调度资源组用于任务的调度运行。首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。

工作流定义

工作流定义是对一系列按照特定逻辑进行编排的任务及其执行顺序的描述。它包括分配给各个任务的调度节点和制定的调度策略,确保任务能在预定的时间内按照DAG(Directed Acyclic Graph)结构顺利执行。

任务定义

在工作流中,任务定义是指对单个工作流节点的具体说明,它是工作流中的基本操作单位。

手动任务定义

手动任务能够独立于工作流定义创建,仅支持手动运行。在工作流定义中可以关联已创建的手动任务,复用手动任务配置参数。

工作流实例

工作流实例是工作流定义的一个具体执行或运行。当工作流被触发执行时,工作流定义就会实例化成为一个工作流实例。

任务实例

任务实例是工作流中某个任务定义的一次具体执行。当工作流实例进展到某个特定任务时,系统会根据任务定义创建一个任务实例。

手动任务实例

手动任务实例是手动任务定义的一次具体运行。每当手动任务被人为触发运行时,该手动任务的定义就会实例化为一个手动任务实例。

依赖

节点之间运行的相互依赖。例如,节点A—>节点B,即节点A是节点B的上游依赖,节点B的运行依赖节点A,在满足节点B运行的其他条件外,还需要节点A完成运行,节点B才能运行。

任务类型

工作流中定义的不同操作类别。支持SHELL、SPARK、HIVECLI、SQOOP、FLINK、SQL、HTTP、SUB_PROCESS等多种任务类型。

工作流版本

工作流版本是指每当对工作流程进行修改操作(例如,添加或删除节点、变更依赖关系等)并保存后,系统会自动创建一个新的流程修订版本。

任务版本

任务版本是指每当对具体任务进行修改操作(例如,修改执行参数、调整资源配置等)并保存后,系统会自动生成一个新的任务修订版本。