数仓开发任务流

数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景,每个业务场景下又可添加多个任务流,用于实现复杂的数据处理和任务调度。

前提条件

已创建项目空间。具体操作,请参见创建项目空间

创建数仓开发任务流

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发 > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 数仓开发

  3. 项目空间区域,单击目标项目空间名称。

  4. 可选:新建业务场景。

    1. 在项目空间的左侧导航栏中,选择jai > 业务场景

    2. 新建业务场景对话框中,输入业务场景名称和描述。

    3. 单击确认

    说明

    系统自动创建了一个默认业务场景,您可右键单击业务场景,重命名、删除该业务场景,或在该业务场景下新增任务流。

  5. 新增任务流。

    1. 右键单击目标业务场景,选择新增任务流

    2. 新建任务流对话框中,输入任务流名称和描述。

    3. 单击确认

  6. 在任务流详情页,编辑、试运行、发布任务流。

    任务流

    说明

    相关文档

    数据集成

    • 显示任务流中的数据集成节点:DTS数据迁移节点和离线数据集成节点。

    • 数据集成节点在项目空间的标准模式下试运行时,节点会空跑,以免生产数据迁移到测试环境的风险。

    数据开发

    • 显示任务流中的数据开发节点:除数据集成节点之外的其他节点。

    • 数据开发节点,试运行和发布后的调度功能相同。

    数仓表可被其任务流引用并操作,您可以创建、导入、编辑、删除数仓表。

    管理任务流数仓表

    数仓开发中任务流的操作与任务编排中任务流的操作是相似的。更多信息,请参见概述

管理任务流数仓表

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发 > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 数仓开发

  3. 项目空间区域,单击目标项目空间名称。

  4. 在项目空间的左侧导航栏中,单击目标业务场景前的5展开3图标,展开业务场景中的任务流。

  5. 单击目标任务流前的5展开2图标,展开任务流的下级目录。

  6. 管理数仓表。

    操作项

    描述

    操作步骤

    新建表

    • 测试库和线上库使用同一个表结构(同一个建表语句)创建表。

    • 数仓开发任务流可对该数仓表进行操作。

    1. 右键单击,选择新建表

    2. 新建表区域,根据界面提示,新建数仓表。

    重要

    新建表时,测试库和线上库都需要处于登录状态。

    导入表

    • 线上库和测试库需要具有相同结构的同名表。

      说明

      如果目标导入表在测试库中不存在,您可以使用结构同步功能将目标导入表同步到测试库中。具体操作,请参见结构同步

    • 数仓开发任务流可对导入的数仓表进行操作。

    1. 右键单击,选择导入表

    2. 导入数仓表对话框中,选择要导入的目标表、主题和层级,单击确认

    重要

    导入表时,测试库和线上库都需要处于登录状态。

    编辑表

    将编辑同时作用于线上库和测试库的表。

    1. 右键单击目标数仓表,选择编辑

    2. 表设计页面编辑表。

    删除表

    • 仅移除该任务流对数仓表的引用,并不删除数据库中的物理表。

    • 删除后数仓开发任务流无法再对该表进行操作。

    1. 右键单击目标数仓表,选择删除

    2. 移除关联表对话框中,单击确认