本文介绍了Ganos时空引擎的概述、功能框架以及优势等内容。
概述
GanosBase(简称Ganos)是阿里云自主研发的新一代时空数据库引擎,它将时空数据处理能力融入了云原生关系型数据库PolarDB、云原生多模数据库Lindorm、云原生数据仓库AnalyticDB和云数据库RDS等主要产品中,为数据库构建了面向新型时空多模多态数据的一体化存储、查询、分析与渲染支撑能力。Ganos取名于大地女神盖亚(Gaea)和时间之神柯罗诺斯(Chronos)首尾字母组合,代表空间+时间的深度结合,发音为['gænəs]。
空间数据与时空数据
空间数据(Spatial Data)用来表达所定义空间中对象/目标/物体的位置、形态、分布等空间特征以及相关联的各类信息,是对现实世界中存在的具有定位意义的各类事物和现象的描述。结合数据库而言,最典型的空间数据如记录一个城市中的所有学校,每个学校记录为数据库中的一行。其中,用时空数据库特有的Geometry字段类型保存每个学校空间上的外轮廓(一般为带有空间参考信息的一个多边形),并用其他字段记录学校的名称、占地面积、创立时间等信息。空间数据一般根据对现实事物空间表达方法的不同,进一步区分为几何空间数据、栅格空间数据、网格空间数据等不同模态结构,需要根据不同应用场景做出合理选择。
时空数据(Spatio-temporal Data)是在空间数据的基础上,进一步考虑事物或现象随时间的变化情况,从而构成时空动态数据。人、车、船、飞行器等移动对象(Moving Object)数据是最典型的时空数据。这类时空数据一般需要在数据库中记录移动对象所经过的一系列时空位置(经纬度坐标+时间)以及与位置相关联的各类属性信息或监测信息。例如,记录所有共享单车的行程信息,每个行程(从起始地到目的地)保存为数据库中的一行,其中,用时空数据库特有的Trajectory字段类型保存每个行程所经过的一系列轨迹点,并在每一轨迹点上关联记录车辆行进速度、方向等监测项。
从不严格意义上来讲,时空数据是空间数据的超集。本手册在没有严格界定的上下文环境下,把空间数据统一称为时空数据,Ganos也统一命名为时空数据库引擎。
时空数据管理面临的挑战
Ganos解决什么问题
Ganos为数据库构建了面向新型时空多模多态数据的一体化表达、存储、查询、分析与渲染支撑能力,解决了以往时空大数据使用流程复杂、使用门槛高、应用效率低等问题,可广泛应用于城市管理、交通物流、共享出行、自然资源、航空航天、物联信息等领域。
定价
目前PolarDB PostgreSQL版数据库产品自带Ganos组件,免费进行使用。
功能框架
Ganos为数据库提供了面向新型时空多模多态数据的一体化表达、存储、查询、分析与渲染支撑能力。
核心组件
几何引擎
几何引擎主要提供点、线、面、体等矢量数据的存储与计算能力,支持shp、geojson、wkb/wkt等多种几何数据源格式数据的入库。Ganos几何引擎全面兼容PostGIS函数接口,在空间数据缓存、空间索引、空间并行计算等方面具有独特的优势,大规模矢量数据查询分析性能有5倍以上提升。
栅格引擎
栅格引擎主要提供遥感影像、数字高程模型(DEM)、格点数据的存储与计算能力,兼容支持Tiff、HDF4、HDF5、GRIB、NetCDF等多种栅格数据源格式。Ganos栅格引擎提供面向对象的存储能力,单行可保存超过1 TB的超大对象,并支持基于OSS的栅格数据湖扩展能力,同时栅格引擎还提供了栅格空间关系判断、栅格金字塔、栅格统计、栅格属性、栅格图像处理、栅格代数等多种基础算子及匀色、镶嵌、DEM算法、D8汇水算法等业务算法,在大规模栅格数据存储计算场景下有十分明显的优势。
移动对象引擎
移动对象引擎主要提供人、车、船、飞行器等移动对象数据的存储与计算能力。Ganos移动对象引擎提供针对4D轨迹(二维/三维空间 + 时间)的原生存储、索引与分段优化,支持为每个轨迹点添加自定义属性,支持定义时空事件,支持百亿级轨迹点高效压缩与重采样,支持轨迹分段、轨迹驻点、轨迹相似度、时空关系判断等各类数据库原生时空算子。
地理网格引擎
地理网格引擎主要提供空间网格构建与二三维空间对象网格赋码、查询能力。Ganos地理网格引擎支持GeoSOT、H3等多种网格剖分规则,支持空间对象编码,支持对象、编码互查操作,支持基于空间网格的聚合与分析能力,支持网格退化能力。
表面模型引擎
表面模型引擎主要提供以表面网格(Surface Mesh)描述的语义化三维数据的存储与计算能力。Ganos表面模型引擎可用于处理建筑信息模型(BIM)数据,可将模型按语义解构并结构化管理,支持复杂三维空间分析与大规模联合检索,支持模型简化算法并可与主流前端三维渲染引擎对接。
体模型引擎
体模型引擎主要提供以非匀质体网格(Volumn Mesh)表征的各向异性数据的存储与计算能力。Ganos体模型引擎可用于处理复杂地质体数据,支持网格在地层边界处截断,支持业务插值算法,支持复杂空间分析与大规模联合检索,支持模型简化算法并可与主流前端三维渲染引擎对接。
体模型引擎当前为邀测阶段,如需使用,请联系我们。
实景模型引擎
实景模型引擎主要提供精细化渲染模型的存储与计算能力。Ganos实景模型引擎可支持osgb、gltf/glb、obj等多种格式模型导入,支持空间裁剪、合并等算法,支持纹理裁剪、简化等算法,支持模型简化算法并可与主流前端三维渲染引擎对接,支持库内进行精准可视域、阴影率分析等。
点云引擎
点云引擎主要提供激光雷达采集的海量点云数据的存储与计算能力。Ganos点云引擎支持库内分块空间索引,支持点云压损,支持点云空间查询与计算,支持点云抽稀简化并可与主流前端三维渲染引擎对接。
路径引擎
路径引擎主要提供管网、路网等点边描述的拓扑图数据的存储与计算能力。Ganos路径引擎支持基于点、边模型构建网络拓扑,支持TSP、K最短、转弯限制、双向Dijkstra等多种寻路算法。
快显引擎
快显引擎主要提供Ganos全空间数据的快速渲染支撑能力。针对矢量、栅格数据,快显引擎根据空间特性进行逐级聚合,并采用可见性剔除算法,以不切片的方式构建快显索引支持渲染,且索引支持局部更新;针对各类三维数据,快显引擎通过模型简化、纹理压缩、数据缝合等方式,构建三维模型的渲染层级,并动态生成渲染引擎可识别格式进行展示。快显引擎改变了传统预切片的展示方式,提供视算一体的能力保证数据现势性。
端到端能力
Atlas是Ganos与阿里云数据可视化DataV团队联合打造的轻量级时空数据分析与可视化产品,帮助互联网客户快速发掘时空数据的价值,支撑商业位置决策、科学研究等领域应用,也可自由集成至用户自身的时空应用中。Atlas定位于快速解决大规模时空数据分析、可视化、成果分享问题,提供以下核心能力:
能够对大规模时空数据进行图形化预览能力。
能够通过SQL语句进行Ganos内时空数据的可视化分析。
通过点、线、面、栅格、网格等多种图元进行时空数据的多样化表达。
Atlas将所有时空计算全部下推到Ganos执行,保证了时空计算的最大效率,通过Ganos动态快显技术与前端对接,实现各类时空数据的绘制能力,真正实现任意SQL快速上图。目前Atlas除了支持各类时空数据的直接预览,也可以绘制气象云图、轨迹密度图、网格聚合图等业务地图,并以“作品”的形式分享给其他人讲述自己的“地图故事”。
Atlas为数据库产品之外的独立产品,详情请参见Atlas产品介绍。
优势
一库统管
原生支持丰富的时空多模多态数据类型
Ganos原生支持几何、栅格、轨迹、地理网格等不同数据类型、存储结构和函数计算能力,可替代“多种数据类型,多种存储方式”的传统技术框架,提供仅用一种数据库即可进行全量时空数据统一管理的能力,降低了业务复杂度与运维成本。
严格遵循OpenGIS标准规范,完全兼容PostGIS语法
Ganos支持已有PostGIS几何应用的透明迁移;支持2D/3D/4D坐标空间;支持创建2-D/n-D空间索引;支持平面与球面计算,空间计算精度自由可控。在多种常见时空查询条件下,Ganos相较于PostGIS均有5倍以上性能提升。
强大、灵活、易用的专业化栅格数据管理
Ganos支持HDF4、HDF5、GRIB、NC等多种栅格数据入库;支持基于OSS的透明化查询处理;支持单行超过TB级的栅格大对象管理,并行操作提供10倍以上性能提升;支持多种栅格基础算子;支持影像镶嵌、裁剪、匀色、DEM处理等业务算法。
存储、计算、渲染一体化三维数据管理
Ganos支持常见的三维模型数据类型导入,如ifc(BIM)、glft、glb、obj、osgb、三维地质模型等,入库后可开展复杂的三维空间分析与三维查询,并基于Ganos快显引擎提供非预制切片渲染能力,基于Ganos的三维数据计算效率比传统方案提升50倍以上。
多元地理网格剖分编码聚合能力
Ganos支持GeoSOT、H3等多种网格剖分与编码方法,可针对亿级二三维空间对象迅速基于网格打码,基于网格码进行实时聚合查询,并可对接Ganos的动态MVT快显技术开展聚合属性的高效渲染。
海量移动对象轨迹管理与可视化
Ganos支持人、车、船、飞行器等各类移动对象在高达时空四维环境中轨迹管理,支持轨迹、事件、多态属性复合存储及压缩、分段、相似性判断、驻点判断等复杂计算,原生轨迹模型比传统点模型在时空分析场景有近50~100倍性能提升。
全空间数据多态分层存储
Ganos支持PolarDB PostgreSQL版数据库构建了全空间数据多态分层存储能力,即数据库不但支持块存储,还可以将更为廉价的对象存储(OSS)作为数据库存储介质直接使用。用户可以将分区表中的任意分区放在对象存储上,也可以将表中的时空大对象列放置在对象存储上,对象存储同样支持数据库的增删改查索引等操作,通过多级缓存保证性能,对客户而言全面透明化。多态分层存储可极大支持客户降低存储成本,同时又满足对数据的操作需求。
计算下推
与传统时空中间件技术方案不同的是,Ganos支持将业务关键计算下推数据库平台中,让计算离数据更近,可以充分利用数据库各项处理能力实现数据本地高效计算,不但能降低因大量中间结果数据网络传输导致的IO延迟,也能简化业务逻辑并大幅提升业务系统性能。
海量算子支持各类时空分析处理业务
Ganos支持大量丰富的空间分析算子,包括导入导出、类型转换、属性处理、空间关系判断、空间计算、空间处理、业务分析等,用户可以基于这些算子独立构建更为复杂的业务算法。经多个客户实践,这样基于下推的Ganos算子构建出的业务算法往往都会有数量级的效率提升。
时空弹性并行查询
Ganos支持依托PolarDB弹性并行能力(ePQ)进行时空查询,ePQ支持跨机并行,它可以将充分利用数据库的只读节点参与到复杂分析型查询中,从而提升查询效率。相较于单机数据库并行查询,ePQ在22项各类查询中,19条查询加速10倍以上,3条查询加速60倍以上,并且性能随资源扩展线性提升。
时空事务分析一体化(HTAP)
Ganos协同PolarDB PostgreSQL版与AnalyticDB PostgreSQL版数据库,构建了面向时空领域的事务分析一体化(HTAP)能力,Ganos不仅可以直接支持两种数据库产品,也可以在事务数据库PolarDB PostgreSQL版上增挂AnalyticDB PostgreSQL版分析节点,利用HTAP实现事务节点与分析节点上时空数据无缝同步与功能打通。
视算一体
Ganos构建了二、三维免切片访问的快显引擎,可以对时空数据所表征的实体进行基于一套数据的高效检索与可视化表达,替代了传统技术栈“文件存、数据库算、瓦片看”的复杂方式,以视算一体的技术支持各类空间查询、时空查询、面向场景查询以及跨模融合查询等业务应用。
快显索引
Ganos基于可见性剔除算法构建了稀疏金字塔索引支持亿级规模多边形地物可视化秒级访问,支持亿级快显索引的分钟级并行更新。
MVT增强
Ganos针对任意时空查询结果可视化,提供了PostGIS MVT增强能力,支持全局重采样等加速算法,支持以更快速度、更小体量动态生成矢量二维/三维数据瓦片。
三维免预切渲染
Ganos针对三维数据提供库内简化、纹理重组、数据缝合、LOD构建等多种能力,并支持动态生成三维瓦片对接渲染引擎。
联系我们
欢迎使用钉钉扫码加入「Ganos时空云计算」官方支持群,将会有专业的技术支持人员在线答疑。 如果业务复杂,您也可以购买支持计划,获取由IM企业群、技术服务经理(TAM)、服务经理等提供的专属支持。