DMS推出数仓开发功能,旨在为用户提供数据集成、加工、可视化和价值挖掘的一站式开发平台。本文介绍数仓开发的主要特性以及操作步骤等内容。

背景信息

在企业里,很多有价值的数据(如:交易数据、客户信息等)都存储在数据库中,DMS数仓开发可以便捷地对这些数据进行分析加工,最终转换为商业智能。DMS数仓开发依托数据库为主要计算引擎,融合了数据库生态里的多种工具和服务(如:DTS、DLA),让用户可以轻松拥有数据仓库并进行开发和管理。

主要特性

特性 说明
数仓引擎自由选择 用户可根据企业规模、数据量大小和实时性要求,自由选择数据库引擎产品(如:ADB、DLA、PolarDB、RDS等)进行数仓开发,DMS数仓开发平等对待所有的数据库引擎产品。
两种开发模式 DMS数仓开发提供了两种开发模式(任务编排、数据仓库)以满足不同专业程度的用户对数仓开发的需求。在任务编排模式下,用户无需数据仓库的专业知识,只需要关注业务逻辑,通过创建任务流和编写任务节点SQL就能完成开发任务。数据仓库模式则主要满足专业数仓开发者的需求,提供了主题管理、层级管理、生产发布、多人协作、数据地图、数据质量控制等各种功能(注:有些功能待发布),为企业提供专业的数仓开发解决方案。
支持离线数仓和实时数仓 通过离线数据同步和周期任务调度,用户在DMS上可轻松实现传统的离线数仓开发。同时,DMS打通了阿里云的DTS和ADB产品,用户通过DTS实时同步任务和ADB引擎的组合可轻松搭建实时数仓系统,并在DMS上进行数据开发和实时消费。
离线、在线一体全域数据管理 依托DMS的统一数据库管理和权限管控能力,DMS可对用户的在线库(如:OLTP)和离线库(如:OLAP)进行综合管理,避免了离线与在线系统割裂造成的数据安全问题。同时,DMS也能够全生命周期地追踪数据血缘并进行影响分析。

数仓构建和使用流程图

数仓构建

操作步骤

  1. 数仓引擎选择
    根据业务需求购买或选择一款合适的数据库内核产品(如:PolarDB、RDS或ADB等)作为数据仓库。
  2. 数据集成
    将待分析的数据从外部数据源(如:交易库)同步至数据仓库中。
  3. 数据开发
    将待分析的数据从外部数据源(如:交易库)同步至数据仓库中。
  4. 数据应用
    对加工完的数据提供消费渠道,如:生成数据API和可视化图表。
  5. 数据治理
    对数仓开发整个过程中的数据进行治理,如:监控数据质量,做数据血缘追踪和影响分析。