全部产品
大数据开发套件

数据开发流程

更新时间:2017-08-08 18:45:55   分享:   

通常情况下,数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享,如下图所示:

总体开发流程图

注意:
上图中,虚线框内的开发流程都可基于阿里云大数据平台来完成。

数据开发流程说明如下:

  • 数据产生

    业务系统每天会产生大量结构化的数据,这些数据都存储在业务系统所对应的数据库中,包括 MySQL、Oracle、RDS 等类型。

  • 数据收集与存储

    若想利用 MaxCompute 的海量数据存储与处理能力来分析这些已有的数据,首先需要将不同业务系统的数据同步至 MaxCompute 中。

    DataWorks 提供数据集成服务,可支持多种数据源类型将业务系统数据按照预设的调度周期同步到 MaxCompute。

  • 数据分析与处理

    随之可对 MaxCompute 上的数据进行加工(ODPS_SQL、OPEN_MR)、分析与挖掘(数据分析、数据挖掘)等处理,从而发现其价值。

  • 数据提取

    分析与处理后的结果数据,需同步导出至业务系统,以供业务人员使用其分析的价值。

  • 数据展现和分享

    最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。

本文导读目录
本文导读目录
以上内容是否对您有帮助?