本文主要介绍HBase Ganos的功能、优势和使用场景。

重要 HBase增强版已全新升级为云原生多模数据库Lindorm,新的场景需求推荐您使用 Ganos时空服务功能

HBase Ganos是什么

HBase Ganos是阿里云推出的一款包含管理空间几何数据时空轨迹专题栅格遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘场景。

功能介绍

2.0 版本
  • 提供时空几何能力。
  • 支持空间几何、时空轨迹的数据表达和建模。
  • 支持时空几何对象的创建、写入、索引、查询、删除等管理能力。
  • 支持与Spark的集成分析,提供兼容OGC标准的GeoSQL访问。
  • 支持基于SDK和RestAPI两种开发方式。
  • 支持HBase 1.x版本。
2.5 版本
  • 兼容2.0版本时空几何的所有功能,并提供了时空栅格能力。
  • 提供栅格数据的快速ETL入库(分块、金字塔以及时间维度索引)能力,提供原生的Spark处理库。
  • 提供栅格数据库的时空查询REST接口。
  • 支持WMS/WMTS等服务,提供原生的GeoServer插件。
  • 支持HBase 2.x版本。

应用场景举例

  • 互联网出行

    适应于互联网出行高并发轨迹数据写入、历史轨迹存储、订单轨迹查询、时空范围查询等场景;向上可以支撑互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。

  • 传感网与实时GIS

    在环保、气象、水利、航海航空监测等领域,需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标,比如污染监测、水位监测、降雨量监测、航标监测等。

  • 栅格化GIS应用及航天航空遥感应用

    HBase Ganos提供了针对栅格数据管理的通用化模型支持,能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力,包括ETL工具支持遥感影像重投影、拼接、切片、入库,支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。

  • IoT

    IoT行业产生的部分数据兼具时序和空间特征。以车联网为例,海量的车辆终端在不断地产生轨迹数据,轨迹数据包含了时间和空间位置。利用HBase Ganos,实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外,还可以进行实时时空查询,如查询某段时间的轨迹,某段时间进入该区域的车辆等。结合大数据分析框架(如Spark)还可以进行穿越分析、区域分布热力图等。

  • 智慧物流与外卖递送

    在物流与外卖等领域,需要实时监控车辆、骑手的位置,以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报,云端需要处理高并发写入并进行实时路径规划、偏航监测等计算。

优势介绍

  • 公有云原生架构的空间、时空、遥感一体化NoSQL大数据引擎产品,开箱即用。
  • PB级存储、高并发写入、百亿级时空查询秒级响应。
  • 支持数据冷热分离存储和数据高效压缩算法,海量数据存储成本低。
  • 与云上Spark无缝集成,快速搭建空间大数据仓库和空间大数据分析平台。
  • 基于OGC标准设计,便于系统间的集成与互操作。
  • 基于阿里云HBase专业运维,全托管方式,提供可靠稳定的服务。

典型案例&架构

航海船舶大数据平台

场景:全球AIS船舶实时位置数据,每天上亿条轨迹写入,要求轨迹时空/时序查询秒级响应,具体包括:
  • 监管区域实时地理围栏判断。
  • 轨迹区域回放(指定区域+指定时间段)。
  • 轨迹回放(指定时间段查询)。
架构说明 架构说明
  • AIS等数据经过Spark平台清洗、融合完成后,构建数仓。
  • 对外提供查询的数据存储到HBase Ganos中,可供前端各类应用进行时空查询(如地理围栏、轨迹回放等)。
  • 整体系统的查询时间在毫秒级,数据清洗在分钟级。

某位置服务平台

场景:实时采集车辆设备轨迹,40万+终端设备,3万+轨迹点/秒峰值;对外提供实时位置查询、地理围栏、轨迹相似度判断等服务。

架构说明 某位置服务平台
  • HBase Ganos承载所有历史轨迹库的存储。
  • 当历史数据量较大时,可通过冷数据自动转储功能,将数据存放到OSS中,减少70%以上的成本。
  • 百亿量级的轨迹查询(比如查询某段时间、某空间范围内经过的轨迹)只需亚秒级。
  • 与spark平台无缝衔接,可以提供类似轨迹相似度、OD分析等强大功能。

遥感大数据管理与智能服务平台

场景:遥感影像数据入库、查询、分析和遥感AI智能服务。

业务痛点:
  • 遥感影像数据体量大且增量快,存储扩展不灵活,成本高昂,管理复杂。
  • 传统静态切片方式管理显示速度快,但无法支撑分析场景和AI场景。
  • 多源空间数据融合查询分析困难。
架构说明: 架构说明
  • 原始数据采用OSS高性价比存储,冷热分离。
  • 影像数据库采用SQL+NoSQL构建时空序列影像,容量无上限,存储与计算分离,极致弹性。
  • 原生提供基于“分块”理念的数据存储和组织方式,保留原始像元信息,有效支撑各类分析计算场景。
  • 与Spark集成,ETL与多源空间数据分析处理更便捷。