全部产品
云市场

数据迁移周期调度

更新时间:2019-12-23 20:05:37

本文主要介绍基于数据开发如何实现定时迁移数据的功能。

背景介绍

    在构建数据仓库之前,往往需要将在线业务库的数据迁移到数仓当中,然后进行分析和加工。

    数据开发支持了DTS数据迁移,DTS的数据迁移功能支持同构或异构数据源之间的数据迁移,详情可参考DTS的文档

前期准备

  • 使用主账号的话,请授权“AliyunDMSDefaultRole”,一般使用过DMS产品已经授权了。
  • 使用子账号的话,请参考这篇文档“授权子账号使用DTS”,添加子账号的权限
  • 确认在DMS企业版中,账号拥有源数据库的“导出”权限,目标数据库的“变更”权限

操作步骤

  • 数据开发中创建任务流
  • 创建并配置“DTS数据迁移”任务
  • 启动调度

数据开发中创建任务流

    如同其他最佳实践的文档,在数据开发的“工作空间”中,找到“创建任务流”的按钮,点击创建即可。

创建并配置“DTS数据迁移”任务

    左侧选择“任务类型”,拖拽“DTS数据迁移”到画板中:创建dts迁移

    在右侧中选中“内容设置”,编辑需要同步的数据库、数据表、表的同步条件等:配置dts

    通过设置变量,可以为“表名”和“过滤条件”设置不一样的迁移方案:

变量1

变量2

启动调度

    最后为该任务流启动一个调度周期即可:调度