大数据是一项涉及不同业务和技术领域的技术和工具的集合,海量离线数据分析可以应用于多种商业系统环境,例如,电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm:

  • Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。
  • Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,能够与Hadoop很好地结合。
  • Storm适用于处理高速、大型数据流的分布式实时计算,为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景,例如:

  • 商业系统环境:电商海量日志分析、用户行为画像分析。
  • 科研行业:海量离线计算分析和数据查询。
  • 游戏行业:游戏日志分析、用户行为分析。
  • 商业用户:数据仓库解决方案的BI分析、多维分析报表。
  • 大型企业:海量IT运维日志分析。

最佳实践概述

本实践结合阿里云E-MapReduce以及日志服务LOG、对象存储OSS、抢占式ECS实例、弹性伸缩等产品,以在电商网站进行日志埋点、采集、存储和投递并使用E-MapReduce进行日志消费分析为例,来展示如何实现离线海量日志的大数据分析。详情请参见E-MapReduce弹性低成本离线大数据分析最佳实践