本文主要介绍HBase Ganos的功能、优势和使用场景。
HBase Ganos是什么
HBase Ganos是阿里云推出的一款包含管理空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘场景。
功能介绍
- 提供时空几何能力。
- 支持空间几何、时空轨迹的数据表达和建模。
- 支持时空几何对象的创建、写入、索引、查询、删除等管理能力。
- 支持与Spark的集成分析,提供兼容OGC标准的GeoSQL访问。
- 支持基于SDK和RestAPI两种开发方式。
- 支持HBase 1.x版本。
- 兼容2.0版本时空几何的所有功能,并提供了时空栅格能力。
- 提供栅格数据的快速ETL入库(分块、金字塔以及时间维度索引)能力,提供原生的Spark处理库。
- 提供栅格数据库的时空查询REST接口。
- 支持WMS/WMTS等服务,提供原生的GeoServer插件。
- 支持HBase 2.x版本。
应用场景举例
- 互联网出行
适应于互联网出行高并发轨迹数据写入、历史轨迹存储、订单轨迹查询、时空范围查询等场景;向上可以支撑互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。
- 传感网与实时GIS
在环保、气象、水利、航海航空监测等领域,需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标,比如污染监测、水位监测、降雨量监测、航标监测等。
- 栅格化GIS应用及航天航空遥感应用
HBase Ganos提供了针对栅格数据管理的通用化模型支持,能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力,包括ETL工具支持遥感影像重投影、拼接、切片、入库,支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。
- IoT
IoT行业产生的部分数据兼具时序和空间特征。以车联网为例,海量的车辆终端在不断地产生轨迹数据,轨迹数据包含了时间和空间位置。利用HBase Ganos,实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外,还可以进行实时时空查询,如查询某段时间的轨迹,某段时间进入该区域的车辆等。结合大数据分析框架(如Spark)还可以进行穿越分析、区域分布热力图等。
- 智慧物流与外卖递送
在物流与外卖等领域,需要实时监控车辆、骑手的位置,以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报,云端需要处理高并发写入并进行实时路径规划、偏航监测等计算。
优势介绍
- 公有云原生架构的空间、时空、遥感一体化NoSQL大数据引擎产品,开箱即用。
- PB级存储、高并发写入、百亿级时空查询秒级响应。
- 支持数据冷热分离存储和数据高效压缩算法,海量数据存储成本低。
- 与云上Spark无缝集成,快速搭建空间大数据仓库和空间大数据分析平台。
- 基于OGC标准设计,便于系统间的集成与互操作。
- 基于阿里云HBase专业运维,全托管方式,提供可靠稳定的服务。
典型案例&架构
航海船舶大数据平台
- 监管区域实时地理围栏判断。
- 轨迹区域回放(指定区域+指定时间段)。
- 轨迹回放(指定时间段查询)。
- AIS等数据经过Spark平台清洗、融合完成后,构建数仓。
- 对外提供查询的数据存储到HBase Ganos中,可供前端各类应用进行时空查询(如地理围栏、轨迹回放等)。
- 整体系统的查询时间在毫秒级,数据清洗在分钟级。
某位置服务平台
场景:实时采集车辆设备轨迹,40万+终端设备,3万+轨迹点/秒峰值;对外提供实时位置查询、地理围栏、轨迹相似度判断等服务。
- HBase Ganos承载所有历史轨迹库的存储。
- 当历史数据量较大时,可通过冷数据自动转储功能,将数据存放到OSS中,减少70%以上的成本。
- 百亿量级的轨迹查询(比如查询某段时间、某空间范围内经过的轨迹)只需亚秒级。
- 与spark平台无缝衔接,可以提供类似轨迹相似度、OD分析等强大功能。
遥感大数据管理与智能服务平台
场景:遥感影像数据入库、查询、分析和遥感AI智能服务。
- 遥感影像数据体量大且增量快,存储扩展不灵活,成本高昂,管理复杂。
- 传统静态切片方式管理显示速度快,但无法支撑分析场景和AI场景。
- 多源空间数据融合查询分析困难。
- 原始数据采用OSS高性价比存储,冷热分离。
- 影像数据库采用SQL+NoSQL构建时空序列影像,容量无上限,存储与计算分离,极致弹性。
- 原生提供基于“分块”理念的数据存储和组织方式,保留原始像元信息,有效支撑各类分析计算场景。
- 与Spark集成,ETL与多源空间数据分析处理更便捷。