通常情况下,数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。



说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。
  1. 数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。
  2. 数据收集与存储:如果想通过MaxCompute的海量数据存储与处理能力分析已有的数据,需要首先将不同业务系统的数据同步至MaxCompute中。

    DataWorks提供数据集成服务,可以支持多种数据源类型,将业务系统数据根据预设的调度周期同步至MaxCompute。

  3. 数据分析与处理:可以对MaxCompute上的数据进行加工(MaxCompute SQL、MaxCompute MR)、分析与挖掘(数据分析、数据挖掘)等处理,从而发现其价值。
  4. 数据提取:分析与处理后的结果数据,需同步导出至业务系统,以供业务人员使用其分析的价值。
  5. 数据展现与分享:数据提取成功后,可以通过报表、地理信息系统等多种展现方式,展示与分享大数据分析、处理后的成果。