按照业务种类将相关的不同类型的节点任务组织在一起,即构成业务流程,能够更好地以业务为单元进行代码的开发。

以业务流程为中心组织数据开发,通过各种类型开发节点的容器看板,将相关的工具和优化、管理操作围绕数据看板中的对象来组织,让您更加方便、智能化地管理开发过程。

DataWorks的代码结构

一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程。一个业务流程是一套有机关联的各种类型的对象的集合。系统支持以自动生成的流程图的直观视角来查看该业务流程。流程中的对象类型有数据集成任务、数据开发任务、表、资源、函数、算法和操作流等多种类型。

每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。

新建业务流程

  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建,单击业务流程
  3. 新建业务流程对话框中,输入业务名称描述
    注意 业务名称不能超过128个字符。
  4. 单击新建,即可完成业务流程的创建。

业务流程组成

说明 建议单个业务流程下节点总数不要超过100个。
业务流程由以下各模块的节点组成:
  • 数据集成

    双击相应业务流程下的数据集成,即可查看所有的数据集成任务,详情请参见离线同步实时同步

  • MaxCompute

    MaxCompute计算引擎包括ODPS SQL、SQL组件节点、ODPS Spark、PyODPS、ODPS Script和ODPS MR等数据开发节点,并可以查看和新建表、资源及函数。

    • 数据开发

      右键单击相应业务流程下的MaxCompute,即可创建相关的数据开发节点。详情请参见ODPS SQLSQL组件节点ODPS SparkPyODPSODPS ScriptODPS MR

    • 右键单击相应业务流程下的MaxCompute,选择新建 > ,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的表。详情请参见管理表

    • 资源

      右键单击相应业务流程下的MaxCompute,选择新建 > 资源,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的资源。详情请参见资源

    • 函数

      右键单击相应业务流程下的MaxCompute,选择新建 > 函数,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的函数。详情请参见函数

  • EMR

    EMR计算引擎包括EMR HIVE、EMR MR、EMR SPARK和EMR SPARK等数据开发节点,并可以查看和新建EMR资源。

    说明 您在工作空间配置页面添加E-MapReduce计算引擎实例后,当前页面才会显示EMR目录。
    • 数据开发

      打开相应业务流程下的EMR,右键单击数据开发,即可创建相关的数据开发节点。详情请参见EMR HIVEEMR MREMR SPARK SQLEMR SPARK

    • 资源

      打开相应业务流程下的EMR,右键单击资源,即可进行新建。您也可以在此查看当前EMR计算引擎下所有创建的资源。详情请参见资源

  • 算法

    打开相应业务流程,右键单击算法,即可进行新建。您也可以查看当前业务流程下所有创建的机器学习节点。详情请参见机器学习(PAI)

  • 通用

    打开相应业务流程,右键单击通用,即可创建相关节点。详情请参见OSS对象检查for-eachdo-while归并节点分支节点赋值节点Shell虚拟节点跨租户节点

    说明 除跨租户节点和OSS对象检查所有版本均支持外,其它功能均需要DataWorks标准版及以上版本才可以支持。如果您需要使用,请单击立即升级,进行版本升级操作。
  • 自定义

    打开相应业务流程,右键单击自定义,即可创建相关节点。详情请参见Hologres开发Data Lake AnalyticsAnalyticDB for MySQL新建AnalyticDB for PostgreSQL节点

查看所有的业务流程

数据开发页面,右键单击业务流程,选择全部业务流程看板,即可查看该工作空间下所有的业务流程。

单击某个看板,即可进入相应的业务流程看板。查看业务流程

业务流程对象看板

在业务流程中,为每种类型对象都增加了相应的对象集合看板。每个对象在看板上都有对应的一张对象卡片,可以将相关的操作和优化建议附着到相应对象后面,使得相关对象的管理更加智能化。

例如,在数据开发任务对象卡片中,增加了该任务是否有基线强保障或自定义提醒的状态图标提示,方便您了解任务的当前保障状态。

双击业务流程文件夹下每个对象的名称,即可打开该对象类型的对象看板。

提交业务流程

  1. 进入相应的业务流程看板,单击工具栏中的提交
  2. 提交对话框中,勾选需要提交的节点和忽略输入输出不一致的告警,输入备注
  3. 单击提交
说明 如果您的节点已经提交过,在不改变节点内容的情况下,无法再次选择节点。此时输入备注后单击提交即可,节点属性等改动会被正常提交。