本文为您介绍如何发布标准模式工作空间的节点,以及如何通过跨项目克隆发布简单模式工作空间的节点。

背景信息

在严谨的数据开发流程下,开发者通常会在用于开发的项目内,完成代码开发、流程调试、依赖属性和周期调度属性配置后,再提交任务至生产环境调度运行。

DataWorks的标准模式为您提供在一个项目内,完成从开发到生产的全链路能力,建议您通过该模式完成数据开发与生产发布。详情请参见简单模式和标准模式的区别

标准模式工作空间下,提交的节点会默认添加至创建发布包页面,该页面为您展示已提交的新增、更新、下线节点、资源和函数等操作。

创建发布包页面发布的任务会生成发布包,您可以在发布包列表页面查看相关节点的发布记录和状态。任务发布

如果您在数据开发页面新增、更新、删除的节点、资源和函数,同样在生产环境生效。您需要在创建发布包页面发布相关操作至生产环境。您可以在创建发布包页面添加单个或多个节点至待发布列表,进行批量发布。

创建发布包页面支持修改每页显示的条数。

单击相应节点后的查看,即可查看当前版本的代码内容变更

不同实例生成方式对实例生效时间的影响如下:
  • T+1次生成实例的节点:在23:30前发布变更操作,周期节点运维在第二天生效。
  • 发布后即时生成实例的节点:如果是新增的节点,定时时间在发布时间点十分钟后的实例会正常转出。如果是修改的节点,定时时间在发布时间点十分钟后的实例,会根据最新的调度配置替换修改操作之前的实例。详情请参见实时转实例
  • 当天23:30后发布新增或修改的节点,会在第三天生效。
  • 当天23:30后发布的即时生成的实例,不会生效。

发布标准模式工作空间的节点

如果您使用的是标准模式的工作空间,系统默认一个DataWorks工作空间对应两个相互绑定的MaxCompute项目(开发环境与生产环境),您可以直接从开发环境提交并发布任务至生产环境。标准模式
  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 单击相应工作空间后的进入数据开发
  2. 提交节点。
    1. 双击打开已配置完成的业务流程,单击工具栏中的提交图标。
    2. 提交对话框,选择需要提交的节点名称,输入备注,并选中忽略输入输出不一致的告警
      说明 如果您的节点已经被提交,且没有修改节点内容,只是修改了业务流程或节点属性。您可以不选择节点,输入备注后直接提交业务流程。相关改动会正常被提交。

      如果节点已经被提交过,在不改变节点内容的情况下,无法再次选择该节点。

    3. 单击提交
  3. 提交成功后,单击右上角的任务发布
  4. 创建发布包页面,批量选中需要发布的节点,单击添加到待发布
    您可以根据提交人节点ID节点类型变更类型等条件过滤和搜索任务。如果单击发布选中项,可以立即发布至生产环境调度运行。待发布
  5. 单击打开待发布,确认待发布列表中的信息无误后,单击全部打包发布,即可发布列表中的节点至生产环境。
    打包发布
    说明 简单模式的工作空间严禁直接操作生产环境内的表数据。您可以通过标准模式的工作空间,获得始终稳定、安全、可靠的生产环境。因此,建议您使用标准模式工作空间进行任务的发布与调度。

发布简单模式工作空间的节点

您可以克隆并提交任务至用于生产的工作空间,即通过简单模式工作空间(用于开发)结合简单模式工作空间(用于生产),实现简单模式工作空间内开发环境和生产环境隔离。

例如,您创建两个简单模式的工作空间,分别用于开发和生产。您可以先使用跨项目克隆功能,克隆A工作空间中的任务至B工作空间,再在B工作空间内提交克隆的任务至调度引擎进行调度。简单模式
说明
  • 权限要求:除项目管理员外,执行操作的子账号需要具有运维角色的权限(创建克隆包、发布克隆任务),才能独立完成该流程。
  • 支持的工作空间类型:仅简单模式工作空间支持克隆任务至其它工作空间。
  • 准备工作:创建简单模式的源工作空间A和标准模式的目标工作空间B。
  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 单击相应工作空间后的进入数据开发
  2. 提交节点。
    1. 双击打开已配置完成的业务流程,单击工具栏中的提交图标。
    2. 提交对话框,选择需要提交的节点名称,输入备注,并选中忽略输入输出不一致的告警
    3. 单击提交
  3. 单击页面右上角的跨项目克隆
  4. 创建克隆包页面,选择需要克隆的节点和克隆目标工作空间
  5. 单击设置计算引擎映射,设置当前工作空间与目标工作空间计算引擎的映射关系。
    目标工作空间存在多个计算引擎,因此需要设置当前工作空间与目标工作空间计算引擎的映射关系,才可以进行克隆。如果不设置,则克隆至目标工作空间的默认计算引擎中。
    说明
    • 如果目标工作空间不存在克隆的节点所属的引擎类型,计算引擎映射信息对话框会进行提示。您可以通过选择跳过目标引擎实例为空的节点,来过滤无法克隆的节点,否则在克隆过程中会报错。
    • 在源工作空间和目标工作空间某种引擎类型存在两个以上引擎实例的情况下,会显示设置计算引擎映射按钮。
  6. 单击添加到待克隆,添加需要克隆的节点至待克隆列表
    克隆
  7. 打开右上角的待克隆列表,单击全部克隆
  8. 确认引擎映射预检后的计算引擎映射信息,单击确定
  9. 待页面提示克隆成功后,即可进入目标工作空间查看克隆结果,通常会克隆业务流程的整体目录结构。
    查看克隆结果