介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。
背景
电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。
在电商运营中数据的分析和可视化是最重要的部分之一，而通过电商大屏可以实现数据分析和可视化的完美结合。
电商大屏中包含全量订单和实时订单的聚合结果，全量订单的聚合结果展示全景的综合数据视图，实时订单的聚合结果展示实时的运营指标数据。
适用场景
方案适用于以下场景，请根据实际业务需要使用。
- 大数据计算场景：推荐系统，订单类业务等
- 实时数据计算场景：监控系统，电商数字大屏等
样例场景
某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在DataV大屏上实现电商数据的可视化展示。
架构设计
样例场景的实现过程说明如下，架构图如下图所示。
- SQL客户端将原始订单数据实时插入到表格存储的数据表中。
- 通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。
- 实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。
- 离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户维度总金额。
- 通过DataV将聚合结果展示在大屏上。
