文档

数仓开发任务流

数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景,每个业务场景下又可添加多个任务流,用于实现复杂的数据处理和任务调度。

前提条件

已创建项目空间。具体操作,请参见创建项目空间

创建数仓开发任务流

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发(DTS) > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发(DTS) > 数据开发 > 数仓开发

  3. 项目空间区域,单击目标项目空间名称。
  4. 可选:新建业务场景。
    1. 在项目空间的左侧导航栏中,选择jai > 业务场景
    2. 新建业务场景对话框中,输入业务场景名称和描述。
    3. 单击确认
    说明 系统自动创建了一个默认业务场景,您可右键单击业务场景,重命名、删除该业务场景,或在该业务场景下新增任务流。
  5. 新增任务流。
    1. 右键单击目标业务场景,选择新增任务流
    2. 新建任务流对话框中,输入任务流名称和描述。
    3. 单击确认
  6. 在任务流详情页,编辑、试运行、发布任务流。
    任务流说明相关文档
    数据集成
    • 显示任务流中的数据集成节点:DTS数据迁移节点和离线数据集成节点。
    • 数据集成节点在项目空间的标准模式下试运行时,节点会空跑,以免生产数据迁移到测试环境的风险。
    数据开发
    • 显示任务流中的数据开发节点:除数据集成节点之外的其他节点。
    • 数据开发节点,试运行和发布后的调度功能相同。
    数仓表可被其任务流引用并操作,您可以创建、导入、编辑、删除数仓表。管理任务流数仓表
    数仓开发中任务流的操作与任务编排中任务流的操作是相似的。更多信息,请参见任务编排概述

管理任务流数仓表

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发(DTS) > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发(DTS) > 数据开发 > 数仓开发

  3. 项目空间区域,单击目标项目空间名称。
  4. 在项目空间的左侧导航栏中,单击目标业务场景前的5展开3图标,展开业务场景中的任务流。
  5. 单击目标任务流前的5展开2图标,展开任务流的下级目录。
  6. 管理数仓表。
    操作项描述操作步骤
    新建表
    • 测试库和线上库使用同一个表结构(同一个建表语句)创建表。
    • 数仓开发任务流可对该数仓表进行操作。
    1. 右键单击,选择新建表
    2. 新建表区域,根据界面提示,新建数仓表。
    重要 新建表时,测试库和线上库都需要处于登录状态。
    导入表
    • 线上库和测试库需要具有相同结构的同名表。
      说明 如果目标导入表在测试库中不存在,您可以使用结构同步功能将目标导入表同步到测试库中。具体操作,请参见结构同步
    • 数仓开发任务流可对导入的数仓表进行操作。
    1. 右键单击,选择导入表
    2. 导入数仓表对话框中,选择要导入的目标表、主题和层级,单击确认
    重要 导入表时,测试库和线上库都需要处于登录状态。
    编辑表将编辑同时作用于线上库和测试库的表。
    1. 右键单击目标数仓表,选择编辑
    2. 表设计页面编辑表。
    删除表
    • 仅移除该任务流对数仓表的引用,并不删除数据库中的物理表。
    • 删除后数仓开发任务流无法再对该表进行操作。
    1. 右键单击目标数仓表,选择删除
    2. 移除关联表对话框中,单击确认
  • 本页导读 (1)
文档反馈