数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景,每个业务场景下又可添加多个任务流,用于实现复杂的数据处理和任务调度。
前提条件
已创建项目空间。具体操作,请参见创建项目空间。
创建数仓开发任务流
- 登录数据管理DMS 5.0。
在顶部菜单栏中,选择 。
说明若您使用的是极简模式的控制台,请单击控制台左上角的图标,选择
。在项目空间区域,单击目标项目空间名称。
可选:新建业务场景。
在项目空间的左侧导航栏中,选择 。
在新建业务场景对话框中,输入业务场景名称和描述。
单击确认。
说明系统自动创建了一个默认业务场景,您可右键单击业务场景,重命名、删除该业务场景,或在该业务场景下新增任务流。
新增任务流。
右键单击目标业务场景,选择新增任务流。
在新建任务流对话框中,输入任务流名称和描述。
单击确认。
在任务流详情页,编辑、试运行、发布任务流。
任务流
说明
相关文档
数据集成
显示任务流中的数据集成节点:DTS数据迁移节点和离线数据集成节点。
数据集成节点在项目空间的标准模式下试运行时,节点会空跑,以免生产数据迁移到测试环境的风险。
数据开发
显示任务流中的数据开发节点:除数据集成节点之外的其他节点。
数据开发节点,试运行和发布后的调度功能相同。
表
数仓表可被其任务流引用并操作,您可以创建、导入、编辑、删除数仓表。
数仓开发中任务流的操作与任务编排中任务流的操作是相似的。更多信息,请参见概述。
管理任务流数仓表
- 登录数据管理DMS 5.0。
在顶部菜单栏中,选择 。
说明若您使用的是极简模式的控制台,请单击控制台左上角的图标,选择
。在项目空间区域,单击目标项目空间名称。
在项目空间的左侧导航栏中,单击目标业务场景前的图标,展开业务场景中的任务流。
单击目标任务流前的图标,展开任务流的下级目录。
管理数仓表。
操作项
描述
操作步骤
新建表
测试库和线上库使用同一个表结构(同一个建表语句)创建表。
数仓开发任务流可对该数仓表进行操作。
右键单击表,选择新建表。
在新建表区域,根据界面提示,新建数仓表。
重要新建表时,测试库和线上库都需要处于登录状态。
导入表
线上库和测试库需要具有相同结构的同名表。
说明如果目标导入表在测试库中不存在,您可以使用结构同步功能将目标导入表同步到测试库中。具体操作,请参见结构同步。
数仓开发任务流可对导入的数仓表进行操作。
右键单击表,选择导入表。
在导入数仓表对话框中,选择要导入的目标表、主题和层级,单击确认。
重要导入表时,测试库和线上库都需要处于登录状态。
编辑表
将编辑同时作用于线上库和测试库的表。
右键单击目标数仓表,选择编辑。
在表设计页面编辑表。
删除表
仅移除该任务流对数仓表的引用,并不删除数据库中的物理表。
删除后数仓开发任务流无法再对该表进行操作。
右键单击目标数仓表,选择删除。
在移除关联表对话框中,单击确认。