跨工作空间发布

DataWorks支持将需要发布的对象(节点、函数、资源、组件等)批量添加至发布包,统一发布。本文为您介绍跨工作空间发布场景如何创建及发布待发布包。

适用场景

跨工作空间发布主要用于同地域同一阿里云账号下,将节点、函数、资源、组件等对象从一个简单模式的工作空间发布至另一个工作空间。基于该功能,您还可以实现简单模式工作空间的生产开发环境隔离,更多信息,请参见附录:简单模式如何实现开发与生产隔离

说明

为确保任务发布至目标空间后顺利运行且符合预期,请在使用此功能前,先仔细阅读发布变更逻辑,确保完全了解源空间与目标空间之间的映射逻辑后再执行。

使用限制

权限限制

  • 创建发布环境:仅具有空间管理员角色权限的成员支持创建及配置发布环境。

  • 发布任务到源工作空间生产环境:具有运维部署空间管理员角色权限的成员可以在数据开发中将任务发布到源工作空间的生产环境。

  • 创建待发布包:具有开发角色权限的成员可以在发布中心创建待发布包。

  • 发布待发布包:同时具有源工作空间和目标工作空间的运维部署空间管理员角色权限的成员可以发布待发布包。

工作空间添加成员及授权,详情请参见空间级模块权限管控

环境限制

源工作空间跨工作空间发布到目标工作空间时,环境限制如下:

源工作空间

目标工作空间

工作空间模式

数据开发版本

简单模式

新版数据开发

简单模式

旧版数据开发

标准模式

新版数据开发

标准模式

旧版数据开发

简单模式

新版数据开发

image

不支持

image

不支持

旧版数据开发

不支持

image

不支持

image

标准模式

-

不支持

不支持

不支持

不支持

其他限制

跨工作空间发布用于同一阿里云账号下、同地域、不同工作空间的发布,该场景不支持跨地域发布。如果您需要跨地域发布,请使用发布中心

发布流程

跨工作空间发布的流程如下图。

image

操作步骤

跨工作空间发布的所有操作均在源工作空间执行。

一、创建发布环境

由于在目标工作空间发布源工作空间的节点时,目标端是一个全新的发布环境,因此,您需要将源端的引擎实例、资源组及依赖关系等信息映射至目标端。映射后,当发布待发布包时,无需在目标工作空间进行额外的配置,系统便会将发布节点使用的环境替换为映射的环境信息。

说明

仅具有空间管理员角色权限的成员支持创建及配置发布环境。

1. 进入发布中心

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

2. 配置发布环境

  1. 在发布中心页面,单击左侧导航栏的发布环境管理

  2. 单击新建发布环境,配置环境信息。

    1. 配置环境基本信息。

      参数

      描述

      环境名称

      新创建的发布环境名称。

      发布类型

      本场景选择跨工作空间发布

      目标工作空间

      选择需要跨工作空间发布的目标工作空间。

      发布对象所有者

      表示发布包跨工作空间发布成功后,在目标工作空间发布包中各节点的责任人。取值如下:

      • 默认:DataWorks优先将节点在源工作空间中的责任人设置为第一责任人。如果该责任人非目标工作空间中的成员,则系统会将发布包执行人(即发布该发布包的用户)置为节点的责任人。

      • 发布包创建人:DataWorks将创建待发布包的用户置为节点的责任人。

      • 发布包执行人:DataWorks将执行发布操作(即发布目标发布包)的用户置为节点的责任人。

    2. 配置计算资源映射

      为源工作空间计算资源和目标工作空间计算资源配置映射。配置后,在发布任务时,系统会根据您配置的计算资源映射,将源计算资源中的节点、资源、函数、组件等相关内容发布至目标计算资源中。

      说明
      • 计算资源映射区域至少需要保留一个源工作空间计算资源,并为其配置到目标端的映射关系。

      • 请根据您的实际业务判断是否需要在目标工作空间中映射源计算资源。

      参数

      描述

      源工作空间计算资源

      显示源工作空间中绑定的所有计算资源。

      计算资源类型

      源工作空间中绑定计算资源的类型。

      目标工作空间计算资源

      选择源工作空间计算资源需要映射的目标端计算资源。

      您可以进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看计算资源信息。

      忽略映射

      开启后,目标工作空间不会映射对应源工作空间的计算资源,源计算资源中的节点、资源、函数、组件等后续将不会被打包发布。

      当源工作空间中引擎实例下的节点、资源、函数、组件等不需要发布时,您可以为该引擎实例开启忽略映射

    3. 配置资源组映射

      用于为源工作空间资源组配置映射的目标工作空间资源组。配置后,在发布任务时,系统会使用映射的目标资源组代替源资源组运行任务。

      说明
      • DataWorks仅支持配置同类型的资源组相互映射。

      • 在映射数据集成资源组时,您需要保证目标数据集成资源组的白名单、网络连通性等配置与源数据集成资源组一致,否则可能会影响数据集成任务的正常运行。网络连通配置的更多信息,请参见网络连通方案

      参数

      描述

      源工作空间资源组

      显示源工作空间绑定的所有资源组。

      资源组类型

      源工作空间绑定资源组的类型。

      目标工作空间资源组

      选择源工作空间资源组需要映射的目标端资源组。

      您可以进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看资源组信息。

      忽略映射

      开启后,目标工作空间不会映射对应源工作空间的资源组,任务发布时,仍然使用源工作空间的资源组。

      说明

      默认资源组和公共资源组不支持使用忽略映射功能。

      当源工作空间中的资源组数量比目标工作空间的资源数量多时,您可以为多出的资源组开启忽略映射。开启后,任务发布时,将继续使用源资源组运行任务。

    4. 配置依赖映射

      该区域显示源工作空间下存在的所有跨项目依赖的上游项目名称,您可以为该项目配置与其映射的目标项目。配置后,任务发布时,系统在目标工作空间中会根据该映射关系,将目标项目配置为发布节点的上游依赖,生成新的上下游依赖关系。

      说明
      • 依赖映射区域默认为您展示T+1天自动更新的依赖,如果您需要查看实时更新的依赖,请单击刷新依赖

      • 如果您配置了跨项目依赖映射至新的项目,DataWorks将根据映射关系修改节点的依赖关系,请确保映射的工作空间可正常添加依赖。常见的无法正常添加依赖的情况,请参见提交节点报错:当前节点依赖的父节点输出名不存在

      • MaxCompute引擎类任务(例如,ODPS SQL、ODPS Spark等 )配置依赖映射后,系统会同步修改该任务的任务代码。

      参数

      描述

      源项目名称

      显示源工作空间下所有跨项目依赖的项目名称。

      项目属性

      项目类别。

      目标项目名称

      选择源项目需要映射的目标项目。

      忽略映射

      开启后,任务发布时,系统将忽略该项目的依赖映射,继续使用源项目作为跨项目依赖的项目,发布节点的上下游依赖关系保持不变。

    5. 配置数据源映射

      用于为源工作空间的数据源配置映射的目标工作空间数据源。配置后,任务发布时,发布任务中使用的数据源将变更为映射的目标数据源。

      参数

      描述

      源数据源名称

      显示源工作空间下所有数据源。

      数据源类型

      数据源类型。

      目标数据源名称

      选择源数据源需要映射的目标数据源。

      忽略映射

      开启后,任务发布时,系统将忽略该数据源,不会将其映射至目标工作空间。

    6. 配置参数映射

      用于将源工作空间的参数配置同步至目标工作空间。在发布任务时,系统会将此处配置的参数(包含业务流程参数和调度参数)引用至目标工作空间中。您可选择通过可视化界面或表达式定义参数的名称及赋值。参数的详情配置,详情请参见调度参数支持的格式

      说明

      请确保每次发布任务中,参数名称唯一。避免相同参数赋值至不同的任务中。

    7. 单击新建,成功创建发布环境。

二、发布任务到源工作空间生产环境

以使用数据开发(Data Studio)(新版)的简单工作空间为例,本步骤需要将任务发布到当前工作空间(源工作空间)的生产环境,发布后,系统会将构建的发布包推送到发布中心的待发布列表中,用于后续跨工作空间发布。

说明
  • 仅具有运维部署空间管理员角色权限的成员可以执行发布操作。

  • 使用数据开发(DataStudio)(旧版)的简单工作空间时,在数据开发中找到需要发布的节点、函数等,单击顶部工具栏的提交image)按钮即可。

  1. Data Studio中找到需要发布的节点、函数等,单击顶部工具栏的发布,进入发布流程。

  2. 在发布流程中单击开始发布生产,将发布对象发布到源工资空间的生产环境中。

    image

三、创建待发布包

说明

具有开发角色权限的成员可以在发布中心创建待发布包。如果您具有空间管理员角色权限,则无需手动创建待发布包,选中待发布对象后,可直接批量发布,系统将自动生成发布包。

  1. 使用具有开发角色权限的成员进入源工作空间的发布中心。

    您可以进入DataWorks任意功能模块后,在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

  2. 在左侧导航栏单击待发布列表,查看已生成的待发布对象,您可以按需在待发布对象后的操作列单击添加到待发布包,添加后,查看待发布包按钮上会显示待发布对象的数量。

    说明
    • 您也可以按需勾选多个待发布对象后,在页面底部单击批量添加到待发布包

    • 使用新版数据开发时,如果在Data Studio的发布流程中单击了终止发布,此处将不再展示对应待发布对象。

    image

  3. 添加到待发布包后,单击查看待发布包,确认发布包中的发布对象是否符合预期,您可以单击移除,将不需要的发布对象从待发布包中移除。

    说明

    当前仅旧版数据开发中的对象支持查看,新版数据开发中的对象暂不支持查看。

  4. 待发布包页面,单击创建发布包,按照页面提示,完成发布包创建。

    image

    说明

    如果您具有空间管理员角色权限,此处不会展示创建发布包按钮,将直接展示全部发布按钮,可直接对待发布对象进行发布操作。

四、发布待发布包

说明

本步骤的操作人员需同时具备源工作空间和目标工作空间的运维部署空间管理员角色权限。

  1. 使用具有运维部署空间管理员角色权限的成员进入源工作空间的发布中心。

    您可以进入DataWorks任意功能模块后,在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

  2. 在左侧导航栏单击发布包列表,查看已生成的待发布包。

  3. 单击目标待发布包操作列的发布,按照页面提示,完成发布操作。

    说明
    • 跨工作空间发布时,具有运维部署空间管理员角色权限的用户可以编辑修改发布任务在目标工作空间运行时使用的资源组。

    • T+1次日生成实例的节点,发布生效的时间如下:

      • 如果在23:30前执行发布操作,则发布内容会在第二天生效。

      • 如果在23:30后执行发布操作,则发布内容会在第三天生效。

    • 发布即时生成实例的节点,发布生效的时间如下:

      • 定时时间在发布时间十分钟后的实例会正常转出或更新发布操作。

      • 定时时间在发布时间十分钟之内,或者在23:30之后发布的实例,发布内容将会在第三天生效。

五、查看发布结果

  1. 待发布包创建并发布完成后,您可以在当前工作空间的发布包列表页面,查看发布结果

    image

  2. 发布结果为成功后,您即可前往目标工作空间的运维中心查看已发布的任务。