在严谨的数据研发流程下,开发者通常会在用于开发的项目内,完成代码研发、流程调试、依赖属性配置和周期调度属性配置后,再将任务提交至用于生产环境进行调度运行。

DataWorks的标准模式为您提供在一个项目内,完成从开发到生产的全链路能力和无缝的体验,建议您通过该模式来完成数据研发与生产发布。

标准模式任务发布

当您的DataWorks工作空间为标准模式时,系统默认一个DataWorks工作空间对应两个相互绑定的MaxCompute项目(开发环境与生产环境),您可以直接将任务从开发环境提交并发布至生产环境。
标准模式发布

操作步骤如下:

  1. 将代码、任务调试并配置完成后,单击提交,检查代码之间的依赖关系是否正确。
    提交
    说明 如果您的节点已经提交过。在没有修改节点内容,只是修改了业务流程或节点属性的情况下,可以不选择节点(如果节点已经被提交过,在不改变节点内容的情况下节点无法被再次选择),填写备注后提交业务流程。相关改动会正常被提交。
  2. 提交通过后,单击发布
  3. 创建发布包页面批量勾选所需发布的任务,单击添加到待发布,则任务会进入待发布列表页面。
    您可以根据提交人、节点类型、变更类型、提交时间和任务名称或ID等条件过滤和搜索任务。如果您单击发布选中项,则会立即发布至生产环境调度运行。
    发布选中项
  4. 单击打开待发布,确认待发布列表中的信息无误后,单击全部打包发布,即可将列表中的任务发布至生产环境。
    全部打包发布
    说明 标准模式严格禁止直接对生产环境内的表数据进行操作,您可以通过标准模式工作空间,获得始终稳定、安全、可靠的生产环境,因此建议您使用标准模式工作空间进行任务的发布与调度。

简单模式跨项目克隆

简单模式项目没有任务发布的概念,如果您想要实现简单项目内的开发、生产环境隔离,仅能通过把任务克隆至用于生产的项目并执行提交来实现,即:简单模式项目(用于开发)+简单模式项目(用于生产)。

如下图所示,用户创建的两个简单模式项目分别用于开发、生产,可以先使用跨项目克隆将A项目中的任务克隆至B项目,再将克隆过来的任务在B项目中提交至调度引擎进行调度。
克隆
说明
  • 权限要求:除项目管理员之外,执行操作的子账号需具有“运维”角色的权限(创建克隆包、发布克隆任务)才能独立完成该流程。
  • 项目类型支持:仅简单模式项目支持克隆任务至其他项目,标准模式项目不支持克隆任务至其他项目。
  • 准备工作:源项目A(简单模式项目)、目标项目B(标准模式项目)。
  1. 提交任务。
    任务编辑完成后,选择需要克隆的任务执行提交。
    提交任务
  2. 单击右上角的跨项目克隆
    跨项目克隆
  3. 在已提交过的任务列表中,选择需要克隆的任务名称与需要克隆至的目标工作空间名称,单击添加到待克隆
    添加到待克隆
  4. 执行克隆。

    单击打开待克隆,检查所需克隆的任务信息无误后,单击全部打包克隆

    确认克隆对话框中,单击克隆,即可完成克隆流程。
    确认克隆
  5. 查看克隆成功的任务。
    您可以在源工作空间的克隆包列表页面,查看克隆成功的任务集合。
    克隆包列表

    进入目标工作空间,可以查看到克隆的任务。

说明 跨项目克隆时,处理任务间的依赖关系的详情请参见跨项目克隆说明