业务流程能够根据业务类别组织不同类型的节点,以业务为单元开发代码。本文为您介绍如何创建、设计、提交和查看业务流程,以及批量修改或删除业务流程中的节点。

背景信息

一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程。一个业务流程是多种类型对象的集合,对象的类型包括数据集成、数据开发、表、资源、函数和算法等。

每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。

创建业务流程

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建图标,单击业务流程
    业务流程
  3. 新建业务流程对话框中,输入业务名称描述
    注意 业务名称必须是大小写字母、中文、数字、下划线(_)以及小数点(.),且不能超过128个字符。
  4. 单击新建

设计业务流程

说明 建议单个业务流程下节点总数不要超过100个。
业务流程由以下各模块的节点组成,您可以根据自身需求设计业务流程:
  • 数据集成

    双击相应业务流程下的数据集成,即可查看所有的数据集成任务,详情请参见创建离线同步节点创建实时同步节点

  • MaxCompute
    说明 您在工作空间配置页面添加MaxCompute计算引擎实例后,当前页面才会显示MaxCompute目录。详情请参见配置工作空间
    MaxCompute计算引擎包括ODPS SQL、SQL组件节点、ODPS Spark、PyODPS、ODPS Script和ODPS MR等数据开发节点,并可以查看和新建表、资源及函数:
    • 数据开发

      右键单击相应业务流程下的MaxCompute,即可创建相关的数据开发节点。详情请参见ODPS SQLSQL组件节点ODPS SparkPyODPS 2PyODPS 3ODPS ScriptODPS MR

    • 右键单击相应业务流程下的MaxCompute,选择新建 > ,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的表。详情请参见创建MaxCompute表

    • 资源

      右键单击相应业务流程下的MaxCompute,选择新建 > 资源,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的资源。详情请参见创建MaxCompute资源

    • 函数

      右键单击相应业务流程下的MaxCompute,选择新建 > 函数,即可进行新建。您也可以在此查看当前MaxCompute计算引擎下所有创建的函数。详情请参见注册函数

  • AnalyticDB for PostgreSQL
    您可以新建AnalyticDB for PostgreSQL节点和AnalyticDB for PostgreSQL表,详情请参见创建AnalyticDB for PostgreSQL节点创建AnalyticDB for PostgreSQL表
    说明 您在工作空间配置页面添加AnalyticDB for PostgreSQL计算引擎实例后,当前页面才会显示AnalyticDB for PostgreSQL目录。详情请参见配置工作空间
  • AnalyticDB for MySQL
    您可以新建AnalyticDB for MySQL节点,详情请参见创建并使用AnalyticDB for MySQL节点
    说明 您在工作空间配置页面添加AnalyticDB for MySQL计算引擎实例后,当前页面才会显示AnalyticDB for MySQL目录。详情请参见配置工作空间
  • EMR
    EMR计算引擎包括EMR Presto、EMR HIVE、EMR MR、EMR SPARK SQL和EMR SPARK等数据开发节点,并可以查看和新建EMR资源。
    说明 您在工作空间配置页面添加E-MapReduce计算引擎实例后,当前页面才会显示EMR目录。详情请参见配置工作空间
    • 数据开发

      打开相应业务流程下的EMR,右键单击数据开发,即可创建相关的数据开发节点。详情请参见EMR PrestoEMR HiveEMR MREMR Spark SQLEMR SPARKEMR Impala

    • 资源

      打开相应业务流程下的EMR,右键单击资源,即可进行新建。您也可以在此查看当前EMR计算引擎下所有创建的资源。

  • 算法

    打开相应业务流程,右键单击算法,即可进行新建。您也可以查看当前业务流程下所有创建的机器学习节点。详情请参见创建机器学习(PAI)节点

  • 通用

    打开相应业务流程,右键单击通用,即可创建相关节点。详情请参见OSS对象检查for-eachdo-while配置归并节点分支节点赋值节点Shell虚拟节点跨租户节点

    说明 除跨租户节点和OSS对象检查所有版本均支持外,其它功能均需要DataWorks标准版及以上版本才可以支持。如果您需要使用,请单击立即升级,进行版本升级操作。
  • 自定义

    打开相应业务流程,右键单击自定义,即可创建相关节点。详情请参见HologresData Lake AnalyticsAnalyticDB for MySQL

提交业务流程

  1. 业务流程设计完成后,单击工具栏中的提交图标。
  2. 提交对话框中,选中需要提交的节点,输入备注信息,并根据业务需求选择是否忽略输入输出不一致的告警。如果您的输入输出内容和代码血缘分析不匹配时,当不勾选忽略输入输出不一致的告警,会产生相应的告警提示,详情请参见提交节点时提示:输入输出和代码血缘分析不匹配
    提交
  3. 单击提交
    说明 如果您的节点已经提交过,在不改变节点内容的情况下,无法再次选择节点。此时输入备注后单击提交即可,节点属性等改动会被正常提交。

查看所有的业务流程

数据开发页面,右键单击业务流程,选择全部业务流程看板,查看该工作空间下所有的业务流程。全部业务流程
单击某个看板,即可进入相应的业务流程看板。查看业务流程

批量修改或删除业务流程的节点

如果您需要批量修改或删除项目空间中某一类别的节点(例如,修改所有离线同步节点),则可以在业务流程任务列表页面,使用节点类型业务流程调度资源组等条件进行筛选,批量处理目标节点。
说明 当前仅支持批量修改目标节点的责任人及调度资源组。
  1. 数据开发页面,单击业务流程后的任务列表图标,进入任务列表页面。进入任务列表
  2. 修改或删除目标节点。修改或删除目标任务
    1. 您可以根据节点名称/ID节点类型业务流程等条件,筛选相应类型的节点。
    2. 选中需要处理的部分或全部节点。
    3. 修改或删除目标节点。
      • 修改目标节点:当前仅支持批量修改目标节点的责任人及调度资源组。单击修改责任人修改调度资源组进行修改。

        当修改对话框中,强制修改参数配置为时,您可以修改所有选中的节点,当该参数配置为时,您只能修改自己锁定的节点,而不能修改他人锁定的节点。

      • 删除目标节点:单击更多 > 删除,删除选中的节点。

        删除节点对话框中,强制删除参数配置为时,您可以删除所有选中的节点,当该参数配置为时,您只能删除自己锁定的节点,而不能删除他人锁定的节点。