跨云发布

DataWorks支持将需要发布的对象(节点、函数、资源、组件等)批量添加至发布包统一发布。跨云(即跨账号、跨地域或跨金融云、政务云等云平台)发布场景,发布包创建完成后,要先在源工作空间下载,再将下载的发布包导入目标工作空间并发布。本文为您介绍该场景如何创建及发布待发布包。

适用场景

该功能仅支持使用了旧版数据开发的工作空间跨账号、跨地域或跨云平台(例如,金融云、政务云等)发布节点、函数、资源、组件等对象。其本质也是将节点由源工作空间迁移发布至目标工作空间,只是两个工作空间所归属的地域、账号、云平台不同。

说明

为确保任务发布至目标空间后顺利运行且符合预期,请在使用此功能前,先仔细阅读发布变更逻辑,确保完全了解源空间与目标空间之间的映射逻辑后再执行。

使用限制

权限限制

跨云发布时,您需要同时拥有源工作空间和目标工作空间的操作权限。工作空间添加成员及授权,详情请参见空间级模块权限管控

环境限制

源工作空间跨云发布到目标工作空间时,环境限制如下:

源工作空间

目标工作空间

工作空间模式

数据开发版本

简单模式

新版数据开发

简单模式

旧版数据开发

标准模式

新版数据开发

标准模式

旧版数据开发

简单模式

新版数据开发

不支持

不支持

不支持

不支持

旧版数据开发

不支持

image

不支持

image

标准模式

新版数据开发

不支持

不支持

不支持

不支持

旧版数据开发

不支持

image

不支持

image

发布流程

跨云发布的发布流程如下图。

image
说明

跨云发布场景,发布包创建完成后,您需要手动将发布包下载至本地,再导入目标工作空间进行发布。

源工作空间操作步骤

一、创建发布环境

由于在目标工作空间发布源工作空间的节点时,目标端是一个全新的发布环境,因此,您需要将源端的引擎实例、资源组及依赖关系等信息映射至目标端。映射后,当发布待发布包时,无需在目标工作空间进行额外的配置,系统便会将发布节点使用的环境替换为映射的环境信息。

说明

仅具有空间管理员角色权限的成员支持创建及配置发布环境。

1. 进入发布中心

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

2. 配置发布环境

  1. 在发布中心页面,单击左侧导航栏的发布环境管理

  2. 单击新建发布环境,配置环境信息。

    1. 配置环境基本信息。

      参数

      描述

      环境名称

      新创建的发布环境名称。

      发布类型

      本场景选择跨云发布

      目标工作空间

      手动输入目标工作空间的名称。

    2. 配置计算资源映射

      为源工作空间计算资源和目标工作空间计算资源配置映射。配置后,在发布任务时,系统会根据您配置的计算资源映射,将源计算资源中的节点、资源、函数、组件等相关内容发布至目标计算资源中。

      说明
      • 计算资源映射区域至少需要保留一个源工作空间计算资源,并为其配置到目标端的映射关系。

      • 请根据您的实际业务判断是否需要在目标工作空间中映射源计算资源。

      参数

      描述

      源工作空间计算资源

      显示源工作空间中绑定的所有计算资源。

      计算资源类型

      源工作空间中绑定计算资源的类型。

      目标工作空间计算资源

      选择源工作空间计算资源需要映射的目标端计算资源。

      您可以进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看计算资源信息。

      忽略映射

      开启后,目标工作空间不会映射对应源工作空间的计算资源,源计算资源中的节点、资源、函数、组件等后续将不会被打包发布。

      当源工作空间中引擎实例下的节点、资源、函数、组件等不需要发布时,您可以为该引擎实例开启忽略映射

    3. 配置资源组映射

      用于为源工作空间资源组配置映射的目标工作空间资源组。配置后,在发布任务时,系统会使用映射的目标资源组代替源资源组运行任务。

      说明
      • DataWorks仅支持配置同类型的资源组相互映射。

      • 在映射数据集成资源组时,您需要保证目标数据集成资源组的白名单、网络连通性等配置与源数据集成资源组一致,否则可能会影响数据集成任务的正常运行。网络连通配置的更多信息,请参见网络连通方案

      参数

      描述

      源工作空间资源组

      显示源工作空间绑定的所有资源组。

      资源组类型

      源工作空间绑定资源组的类型。

      目标工作空间资源组唯一标识符

      选择源工作空间资源组需要映射的目标端资源组,此处需输入资源组ID。

      您可以进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看资源组信息。

      忽略映射

      开启后,目标工作空间不会映射对应源工作空间的资源组,任务发布时,仍然使用源工作空间的资源组。

      说明

      默认资源组和公共资源组不支持使用忽略映射功能。

      当源工作空间中的资源组数量比目标工作空间的资源数量多时,您可以为多出的资源组开启忽略映射。开启后,任务发布时,将继续使用源资源组运行任务。

    4. 配置依赖映射

      该区域显示源工作空间下存在的所有跨项目依赖的上游项目名称,您可以为该项目配置与其映射的目标项目。配置后,任务发布时,系统在目标工作空间中会根据该映射关系,将目标项目配置为发布节点的上游依赖,生成新的上下游依赖关系。

      说明
      • 依赖映射区域默认为您展示T+1天自动更新的依赖,如果您需要查看实时更新的依赖,请单击刷新依赖

      • 如果您配置了跨项目依赖映射至新的项目,DataWorks将根据映射关系修改节点的依赖关系,请确保映射的工作空间可正常添加依赖。常见的无法正常添加依赖的情况,请参见提交节点报错:当前节点依赖的父节点输出名不存在

      • MaxCompute引擎类任务(例如,ODPS SQL、ODPS Spark等 )配置依赖映射后,系统会同步修改该任务的任务代码。

      参数

      描述

      源项目名称

      显示源工作空间下所有跨项目依赖的项目名称。

      项目属性

      项目类别。

      目标项目名称

      选择源项目需要映射的目标项目。

      忽略映射

      开启后,任务发布时,系统将忽略该项目的依赖映射,继续使用源项目作为跨项目依赖的项目,发布节点的上下游依赖关系保持不变。

    5. 配置参数映射

      用于将源工作空间的参数配置同步至目标工作空间。在发布任务时,系统会将此处配置的参数(包含业务流程参数和调度参数)引用至目标工作空间中。您可选择通过可视化界面或表达式定义参数的名称及赋值。参数的详情配置,详情请参见调度参数支持的格式

      说明

      请确保每次发布任务中,参数名称唯一。避免相同参数赋值至不同的任务中。

    6. 单击新建,成功创建发布环境。

二、提交节点

在数据开发中的节点编辑页面,单击顶部工具栏的提交image)按钮。

三、创建待发布包

  1. 进入DataWorks任意功能模块后,在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

  2. 在左侧导航栏单击待发布列表,查看已生成的待发布对象,您可以按需在待发布对象后的操作列单击添加到待发布包,添加后,查看待发布包按钮上会显示待发布对象的数量。

    说明

    您也可以按需勾选多个待发布对象后,在页面底部单击批量添加到待发布包

    image

  3. 添加到待发布包后,单击查看待发布包,确认发布包中的发布对象是否符合预期,您可以单击移除,将不需要的发布对象从待发布包中移除。

    说明

    当前仅旧版数据开发中的对象支持查看,新版数据开发中的对象暂不支持查看。

  4. 待发布包页面,单击创建发布包,按照页面提示,完成发布包创建。

    image

四、下载待发布包

  1. 使用具有运维空间管理员角色权限的成员进入源工作空间的发布中心。

    您可以进入DataWorks任意功能模块后,在页面左上角单击image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

  2. 在左侧导航栏单击发布包列表,查看已生成的待发布包。

  3. 单击目标发布包操作列的下载,将待发布包下载到本地。

    image

    说明

    待发布包创建后,仅支持保留30天,请您及时下载保存。超期后该发布包将无法下载,您需要重新创建新的发布包。

    待发布包下载完成后,您需要将下载的发布包导入至目标工作空间进行发布。

目标工作空间操作步骤

一、导入待发布包

  1. 进入目标工作空间的发布中心页面,在左侧导航栏单击待发布列表,进入待发布列表页。

  2. 在页面右上角,单击导入发布包,进入导入发布包面板。

    说明

    如果您在待发布列表页面未找到此按钮,请确认您的工作空间是否开启了新版数据开发,开启了新版数据开发的工作空间暂不支持跨云发布。

    您可以根据业务需求,选择本地文件上传或OSS上传。

    image

    • 本地文件:直接上传已下载的待发布包。当待上传的发布包小于或等于30MB时,您可以使用该方式上传。

      说明

      本地文件最多支持上传30MB大小的文件。

    • OSS上传:您需要先将已下载的待发布包上传至OSS进行存储,获取OSS的存储地址。当待上传的待发布包大于30MB时,您只能使用该方式上传。

      上传待发布包至OSS,详情请参见上传文件,获取OSS存储地址,详情请参见使用文件URL

二、发布待发布包

待发布包上传成功后,您可以单击发布包预览,检查待发布包的发布环境、发布列表信息。确认无误后,单击发布,发布待发布包。

重要

如果目标工作空间中存在与创建的待发布包同名的发布任务,则创建的待发布包首次发布时,会覆盖该同名任务,请您确认无误后再执行发布操作。

三、查看发布结果

  1. 跨云发布的待发布包发布后,您可以进入目标工作空间的发布包列表页面,查看发布结果

  2. 发布结果为成功后,您即可前往目标工作空间的运维中心查看已发布的任务。