按照业务种类将相关的不同类型的节点任务组织在一起,即构成业务流程,能够更好地以业务为单元进行代码的开发。业务流程对应DataWorks V1.0中工作流的概念。

以业务流程为中心组织数据开发,通过各种类型开发节点的容器看板,将相关的工具和优化/管理操作围绕数据看板中的对象来组织,使得开发的管理更加方便和智能化。

DataWorks的代码结构

一个工作空间可以支持多种类型的计算引擎。一个工作空间中可以包含多个业务流程。一个业务流程是一套有机关联的各种类型的对象的集合,系统支持以自动生成的流程图的直观视角来查看该业务流程。流程中的对象类型有数据集成任务、数据开发任务、表、资源、函数、算法和操作流等多种类型。

每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下, 支持继续创建子文件夹,为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将这几个相关的业务流程收纳到一个解决方案中进行管理,这样的代码组织方式会更加高效。

新建业务流程

  1. 单击左上角的图标,选择全部产品 > DataStudio(数据开发)
  2. 右键单击业务流程,选择新建业务流程
    新建业务流程
  3. 新建业务流程对话框中,填写业务流程名称描述
    新建业务流程
  4. 单击新建,即可完成业务流程的创建。

业务流程组成

业务流程由以下各模块的节点组成。

  • 数据集成
    双击相应业务流程下的数据集成,即可查看所有的数据集成任务,详情请参见数据同步节点
    数据集成
  • 数据开发
    双击相应业务流程下的数据开发,即可查看所有的数据开发任务,详情请参见节点类型介绍
    数据开发
  • 双击相应业务流程下的,即可查看所有创建的表,详情请参见表管理
    表
  • 资源
    双击相应业务流程下的资源,即可查看所有创建的资源,详情请参见资源介绍
    资源
  • 函数
    双击相应业务流程下的函数,即可查看所有创建的函数,详情请参见函数介绍
    函数
  • 算法
    您可以新建机器学习(PAI)节点,双击相应业务流程下的算法,即可查看所有创建的算法。
    算法
  • 控制
    控制节点包括跨租户节点oss对象检查赋值节点for-eachdo-while归并节点分支节点,详情请参见节点类型介绍
    控制节点
    说明 除跨租户节点和OSS对象检查所有版本均支持外,其他功能均DataWorks标准版及以上版本方可支持。如果您需要使用相应功能,可以单击立即升级,进行版本升级操作。
双击业务流程的名称,即可在控制面板以工作流图的方式查看各节点之间的关系。
DAG图
说明 建议单个业务流程下节点总数不要超过100个。

查看所有的业务流程

数据开发页面,双击业务流程,即可查看该工作空间下所有的业务流程。
查看业务流程

业务流程对象看板

在业务流程中,为每种类型对象都增加了相应的对象集合看板。每个对象在看板上都有对应的一张对象卡片,可以将相关的操作和优化建议附着到相应对象后面,使得相关对象的管理更加智能化更加方便。

例如在数据开发任务对象卡片中,增加了该任务是否有基线强保障或自定义提醒的状态图标提示,方便您了解任务的当前保障状态。

双击业务流程文件夹下每个对象的名称,即可打开该对象类型的对象看板。

提交业务流程

如果您之前使用过DataWorks V1.0版本,在工作流切换至DataWorks V2.0的业务流程后,提交业务流程时请您保证已添加好备注,否则无法提交。
备注
说明 如果您的节点已经提交过,在没有修改节点内容,只是修改了业务流程或节点属性的情况下,可以不选择节点(如果节点已经被提交过,在不改变节点内容的情况下节点无法被再次选择),填写备注后提交业务流程。相关改动会正常被提交。