全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

数据开发流程

更新时间:2017-10-26 17:00:09

通常情况下,数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享,如下图所示:

总体开发流程图

注意:

上图中,虚线框内的开发流程都可基于阿里云大数据平台来完成。

数据开发流程说明如下:

  • 数据产生

    业务系统每天会产生大量结构化的数据,这些数据都存储在业务系统所对应的数据库中,包括 MySQL、Oracle、RDS 等类型。

  • 数据收集与存储

    若想利用 MaxCompute 的海量数据存储与处理能力来分析这些已有的数据,首先需要将不同业务系统的数据同步至 MaxCompute 中。

    DataWorks 提供数据集成服务,可支持多种数据源类型将业务系统数据按照预设的调度周期同步到 MaxCompute。

  • 数据分析与处理

    随之可对 MaxCompute 上的数据进行加工(MaxCompute SQL、MaxCompute MR)、分析与挖掘(数据分析、数据挖掘)等处理,从而发现其价值。

  • 数据提取

    分析与处理后的结果数据,需同步导出至业务系统,以供业务人员使用其分析的价值。

  • 数据展现和分享

    最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。

本文导读目录