本文简要介绍了T+1全量同步一键建仓方案。

业务挑战

大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库的计算能力有限,如果直接使用RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库搭建数据仓库,会占用线上业务的计算资源从而会影响业务的运行。如果使用自建开源大数据生态体系,例如Hive、Spark等,需要专门的大数据工程师来操作和运维,且操作流程也不像使用MySQL一样简单,成本极高。

解决方案

T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,同时在数据仓库和DLA中创建与数据源表相同的表结构,基于目标数据仓库进行数据分析,不影响数据源端的线上业务运行。

方案图

方案优势

T+1全量同步一键建仓方案有以下优势:

  • 一键同步数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据)中的上千张表数据,无需其他额外的配置工作。
  • 提供Serverless的服务,无需维护任何实例,零运维成本。
  • 数据同步过程中,数据源中的数据存储在目标数据仓库OSS中,搭建数据仓库过程中不会对数据源端的业务系统产生任何压力。
  • 通过DLA控制台配置建仓任务,支持自定义设置定时数据投递。
  • 极致的计算能力,充分发挥DLA的计算能力,通过DLA的大内存、并发计算完成复杂的多表JOIN以及数据仓库搭建过程中的其他必要操作。