按照业务种类将相关的不同类型的节点任务组织在一起,即构成业务流程,能够更好地以业务为单元进行代码的开发。

以业务流程为中心组织数据开发,通过各种类型开发节点的容器看板,将相关的工具和优化、管理操作围绕数据看板中的对象来组织,让您更加方便、智能化地管理开发过程。

DataWorks的代码结构

一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程。一个业务流程是一套有机关联的各种类型的对象的集合。系统支持以自动生成的流程图的直观视角来查看该业务流程。流程中的对象类型有数据集成任务、数据开发任务、表、资源、函数、算法和操作流等多种类型。

每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。

新建业务流程

  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 单击左侧导航栏中的数据开发,进入数据开发面板。
  3. 右键单击业务流程,选择新建业务流程新建业务流程
  4. 新建业务流程对话框中,输入业务名称描述新建业务流程
  5. 单击新建,即可完成业务流程的创建。

业务流程组成

业务流程由以下各模块的节点组成:

  • 数据集成
    双击相应业务流程下的数据集成,即可查看所有的数据集成任务,详情请参见数据同步节点数据集成
  • 数据开发
    双击相应业务流程下的数据开发,即可查看所有的数据开发任务,详情请参见节点类型介绍数据开发
  • 双击相应业务流程下的,即可查看所有创建的表,详情请参见表管理表
  • 资源
    双击相应业务流程下的资源,即可查看所有创建的资源,详情请参见资源介绍资源
  • 函数
    双击相应业务流程下的函数,即可查看所有创建的函数,详情请参见函数介绍函数
  • 算法
    您可以新建机器学习(PAI)节点,双击相应业务流程下的算法,即可查看所有创建的算法。算法
  • 控制
    控制节点包括跨租户节点oss对象检查赋值节点for-eachdo-while归并节点分支节点,详情请参见节点类型介绍控制节点
    说明 除跨租户节点和OSS对象检查所有版本均支持外,其他功能均DataWorks标准版及以上版本方可支持。如果您需要使用相应功能,可以单击立即升级,进行版本升级操作。
双击业务流程的名称,即可在控制面板以工作流图的方式查看各节点之间的关系。DAG图
说明 建议单个业务流程下节点总数不要超过100个。

查看所有的业务流程

数据开发页面,右键单击业务流程,选择全部业务流程看板,即可查看该工作空间下所有的业务流程。

单击某个看板,即可进入相应的业务流程看板。查看业务流程

业务流程对象看板

在业务流程中,为每种类型对象都增加了相应的对象集合看板。每个对象在看板上都有对应的一张对象卡片,可以将相关的操作和优化建议附着到相应对象后面,使得相关对象的管理更加智能化。

例如,在数据开发任务对象卡片中,增加了该任务是否有基线强保障或自定义提醒的状态图标提示,方便您了解任务的当前保障状态。

双击业务流程文件夹下每个对象的名称,即可打开该对象类型的对象看板。

提交业务流程

  1. 进入相应的业务流程看板,单击提交图标。
  2. 提交对话框中勾选需要提交的节点和忽略输入输出不一致的告警,填写备注提交
  3. 单击提交
说明 如果您的节点已经提交过,在仅修改了业务流程或节点属性的情况下,可以不选择节点(如果节点已经被提交过,在不改变节点内容的情况下节点无法被再次选择),填写备注后提交业务流程,相关改动会被正常提交。