文档

入仓解决方案

更新时间:

数仓开发的项目空间由入仓解决方案和业务场景两部分组成。入仓解决方案可添加和运行多个实时同步任务、实时迁移任务,实现全量或近实时增量迁移和集成数据,用于满足项目空间内业务场景的数据迁移和集成需求。

根据所需的同步效率、同步数据量需求,创建入仓解决方案同步线上库数据。入仓解决方案包括:

  • 实时同步任务:基于离线数据集成的数据传输服务。新建实时同步任务,请参见新建实时同步任务

  • 实时迁移任务:基于数据传输服务DTS的数据传输服务。新建实时迁移任务,请参见新建实时迁移任务

说明

新建实时同步任务

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发 > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 数仓开发

  3. 单击目标项目空间名称。

  4. 在项目空间的左侧导航栏中,选择jai > 入仓解决方案 > 实时同步

    说明

    您也可以在项目空间的左侧导航栏中,右键入仓解决方案,选择新建 > 实时同步

  5. 创建并购买实时同步任务。

新建实时迁移任务

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发 > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 数仓开发

  3. 单击目标项目空间名称。

  4. 在项目空间的左侧导航栏中,选择jai > 入仓解决方案 > 实时迁移

    说明

    您也可以在项目空间的左侧导航栏中,右键入仓解决方案,选择新建 > 实时迁移

  5. 创建并购买实时迁移任务。

数据迁移和数据同步的区别是什么?

对比项

数据迁移

数据同步

适用场景

主要用于上云迁移,例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。

它属于一次性任务,迁移完成后即可释放实例。

主要用于两个数据源之间的数据实时同步,适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。

它属于持续性任务,任务创建后会一直同步数据,保持数据源和数据目标的数据一致性。

支持的数据库

请参见迁移方案概览

请参见同步方案概览

支持的数据库部署位置

  • 有公网IP的自建数据库

  • 无公网IP:Port的数据库(通过数据库网关DG接入)

  • 通过云企业网CEN接入的自建数据库

  • ECS上的自建数据库

  • 通过专线/VPN网关/智能接入网关接入的自建数据库

  • ECS上的自建数据库

  • 通过专线/VPN网关/智能接入网关接入的自建数据库

  • 无公网IP:Port的数据库(通过数据库网关DG接入)

  • 通过云企业网CEN接入的自建数据库

说明

数据同步基于内网传输,可以保证更低的网络延时。

功能特性差异

  • 支持库表列三级对象名映射。

  • 支持过滤待迁移的数据。

  • 支持选择同步的SQL操作类型,例如选择仅同步INSERT操作。

  • 支持读取其他阿里云账号下的专有网络,通过该功能可以实现跨阿里云账号迁移专有网络下的自建数据库。

  • 支持库表列三级对象名映射。

  • 支持过滤待同步的数据。

  • 支持在线修改同步对象。

  • 支持MySQL等间的双向同步。

  • 支持选择同步的SQL操作类型,例如选择仅同步INSERT操作。

计费方式

仅支持按量付费。

支持按量付费和包年包月。

计费规则

仅在增量数据迁移正常运行期间计费(包含增量数据迁移暂停期间),结构迁移和全量数据迁移期间不计费。

  • 按量付费时,实例完成配置且成功启动后开始计费(包含启动后的暂停期间)。

  • 包年包月时,按照购买时选择的配置和购买量一次性扣费。

说明

对于某些数据同步不支持的数据库(例如MongoDB实例),您可以通过增量数据迁移的方式来实现数据同步。