全部产品
阿里云办公

天猫双十一大屏

更新时间:2018-10-17 19:59:41

每年的天猫双十一购物狂欢节已逐渐成为全球互联网最大规模的商业促销狂欢活动。而每年双十一节除了”买买买”外,最引人注目的就是天猫双十一大屏不停闪变跳跃的总体成交总额。这份实时化的大数据展示链路凝结阿里集团诸多顶尖级工程师长达数月辛勤劳作,其中关键指标也颇具亮点,包括从天猫交易下单购买到数据采集、数据计算、数据校验,最终落到双十一大屏上展现的全链路时间压缩在5秒以内,0点顶峰计算性能高达数十万订单/秒,多条链路流计算备份确保万无一失。

天猫双十一大屏

天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算 Flink。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。而后阿里数据事业部选择使用阿里云实时计算Flink SQL,将整个双十一大屏的开发周期缩短到一周,并且由于阿里云实时计算底层完全屏蔽了故障处理、执行优化,最终上线的阿里云实时计算作业比Storm更快、更高效。

下面是天猫双十一整体数据流图,天猫使用了阿里云实时计算平台,让整体处理链路变得更加稳定和高效。

天猫双十一

  1. 用户在线抢购 海量的天猫用户使用天猫的购买系统进行双十一抢购活动。在天猫交易的高峰期,如11日凌晨0点的诸多秒杀活动,整个流计算的面临的顶峰性能可能高达数十万订单/秒。

  2. 数据实时采集 数据采集系统将数据库变更日志采集并进入DataHub系统。使用阿里集团集团内部的数据库变更日志复制计算(阿里云对应的产品名称为[DTS]),在线交易数据库即使在零点最高峰交易时段,也可以保证在数秒内将数据写入DataHub。

  3. 数据实时计算 阿里云实时计算订阅上述DataHub的流式数据,持续读取并计算截止到当前时间点的天猫成交总和。阿里云实时计算单机群在数千台规模,支持吞吐量可达百万级/秒,应对天猫的数十万笔交易/秒自然不在话下。实时计算Flink实时订阅\实时计算,并将结果数据即时写入在线的RDS系统中。

  4. 前端可视化展现 前端数据可视化组件团队为天猫双十一大屏专门定制了翻牌器、全球交易热点等诸多酷炫内容。前端服务器将定期轮询RDS系统,并利用Web前端技术实现双十一大屏的震撼效果。

阿里云实时计算 Flink团队正是是阿里大数据平台内部产品衍生而来,成功支持天猫双十一活动数年。