全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
DataWorks(数据工场)

数据开发流程

更新时间:2017-12-19 00:15:47

通常情况下,数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享,如下图所示:

1

注意:

上图中,虚线框内的开发流程都可基于阿里云大数据平台来完成。

数据开发流程说明如下:

  • 数据产生

    业务系统每天会产生大量结构化的数据,这些数据都存储在业务系统所对应的数据库中,包括MySQL、Oracle、RDS等类型。

  • 数据收集与存储

    若想利用MaxCompute的海量数据存储与处理能力来分析这些已有的数据,首先需要将不同业务系统的数据同步至MaxCompute中。

    DataWorks提供数据集成服务,可支持多种数据源类型将业务系统数据按照预设的调度周期同步到MaxCompute。

  • 数据分析与处理

    随之可对MaxCompute上的数据进行加工(MaxCompute SQL、MaxCompute MR)、分析与挖掘(数据分析、数据挖掘)等处理,从而发现其价值。

  • 数据提取

    分析与处理后的结果数据,需同步导出至业务系统,以供业务人员使用其分析的价值。

  • 数据展现和分享

    最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。

本文导读目录