公司介绍

中国邮政集团、三泰控股集团、复星资本、菜鸟网络四家巨头合力打造的中邮智递科技有限公司,中邮速递易是其核心的24小时快递自助服务品牌,专注建设智慧物流生态平台,为快递行业赋能。2012年9月,中邮速递易以技术领先优势在中国推出第一台“速递易”智能快件箱,开创了快递柜这一全新领域。现在,中邮速递易已遍布全国79个城市,一线城市全覆盖,拓展超过5.5万的网点,终端设备布设达8.1万台,累积快件投递量超过13亿件,数千万的用户通过中邮速递易智能快递柜享受到安全、便捷、放心的快递自助服务。

案例背景

中邮智递数据平台发展到现在经历了四个阶段:
  • 直接在业务生产系统开发生成报表,提供业务部门查询。
  • 采用kettle等工具抽取各业务系统数据并处理生成报表。
  • 使用hive构建离线数据仓库,抽取业务数据统一处理并生成报表推送至报表系统。
  • canal+kafka+tidb构建实时数仓进行实时OLAP分析,spark streaming+kafka+Redis构建实时数据展示。

最近我们在尝试把现在ECS主机上的系统和服务迁移到阿里云的大数据平台中,例如数加和DataV。以及使用ADB实现实时OLAP达到低延迟、高并发。

解决方案

  • 数仓迁移:

    我们将数据仓库一个非关键主题-基点模型的全部业务链路迁移到数加中,使用数加的数据集成可以进行数据加载和数据导出,数据开发可以进行数据仓库模型开发。能够进行调度依赖配置和血缘关系、生命周期管理。

  • 系统运维:

    数加的运维中心能够查看任务的运行情况,与历史运行情况的对比。以及查看具体的任务运行日志、配置告警监控,能够完美替换类似azkaban、airflow等工作流调度工具。

  • 数据集成:

    数加数据集成模块自带各种数据源的接入,包括阿里云的各种组件以及一些常用的数据源。满足从关系数据库,现有大数据平台,NoSQL等数据源接入和导出数据。结构清楚,配置简单,避免了以前接入异构数据需要开发多种接入程序的问题。

  • 数据开发:

    数加数据开发模块可以完成离线数据仓库HIVE的模型开发功能。数据管理模块可以查看数据开发概览,元数据管理、权限管理、血缘关系管理、查找数据。也可以通过客户端操作MaxCompute的数据。

  • 大屏展示:

    中邮智递以前的实时数据大屏展示是由数据开发使用spark streaming+Redis+前端开发的模式来完成的,优点是自定义程度比较高,前端同事可以使用各种图表框架进行数据实时展示,权限接入和业务系统接入也能完美兼容我们现在的统一系统接入平台。缺点当然也很明显,每次任务开发需要前端参与开发,需要占用前端开发资源,迭代的时效性也比较差。特别是一些非长期型的实时展示项目,需要快速迭代上线,一定时间周期之后会废弃。例如短期活动开展,类似双11营销活动,以前的开发模式就不是很适用。DataV可以同步简单配置使用各种图表和特性,非前端开发人员通过配置就能使用地图、散点图、柱状图、飞线,并将生成的图标发布到现有的统一业务接入系统。

相关产品

  • 大数据计算服务 · MaxCompute

    MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。

    更多关于阿里云MaxCompute的介绍,参见MaxCompute产品详情页

  • DataV数据可视化

    DataV旨在让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。

    更多关于阿里云DataV数据可视化的介绍,参见DataV数据可视化产品详情页