Ganos矢量快显功能上手系列一：2D和3D矢量快显

2D矢量快显

传统系统支持矢量数据可视化，主要采用离线切片的方式。当可视化请求到达时，将预先构建的切片经过简单处理后返回客户端。这种处理方案存在两大痛点：一是“慢”，在大规模数据集上运行离线切片通常需要十几个小时甚至几天的时间才能完成。二是“大”，在最高支持16级缩放的地图服务中，需要事先存储几十亿个切片，导致存储开销极大。另外，由于“慢”这一问题，衍生出对数据更新不友好的新问题。该问题在数据管理能力较弱的GIS系统中尤为凸显。由于缺乏对数据更新内容及其对切片影响范围的感知，一旦发生数据更新，即使只是局部的小范围更新，也只能通过耗时费力的全盘重建切片的方式来解决。

Ganos快显引擎所提供的2D矢量快显功能，专门针对亿级二维矢量数据（包括点、线、面）进行可视化处理。该功能能够很好地解决以上问题，Ganos创新性地提出了稀疏金字塔索引，跳过了对数据稀疏区域的切片构建，结合数据库查询优化，并通过视觉可见性剔除算法，过滤掉大量不影响显示效果的数据，从而有效解决了切片时间漫长和存储开销巨大的两大痛点。不仅如此，Ganos还支持稀疏金字塔的动态更新。当矢量数据在小范围内发生局部更新时，Ganos能够自动识别出受影响的切片，并将切片的更新限制在尽可能小的范围内，从而避免了对稀疏金字塔进行重建的需要，显著提高了更新效率。经实测，在一台配置普通的8 核PolarDB PostgreSQL版集群上，构建包含七千万条房屋数据集的稀疏金字塔仅需6分钟。当发生超过一百万条数据更新时，稀疏金字塔的更新也仅需不到1分钟。在响应可视化请求时，平均返回一个切片的时间不到1毫秒。具备如此高效的性能的基础上，所需的磁盘存储空间仅约为3 GB。

3D矢量可视化

Ganos不仅支持2D矢量快速显示，还与阿里云DataV数据可视化产品团队联合开发了对3D矢量数据可视化的支持。通过扩展现有的2D矢量切片标准，Ganos与DataV合作实现了可用于3D矢量物体可视化的3D矢量切片，效果图如下：

2D矢量快显使用步骤

准备数据表

准备包含Geometry属性的数据表。Ganos提供多种将矢量数据写入数据表的函数，包括常见的ST_GeomFromText、ST_GeomFromWKT和ST_GeomFromWKB等。使用Ganos的矢量快显功能，仅需确保数据表包含主键ID及Geometry属性列。

1. 在使用Ganos的快显功能之前，请安装快显功能插件ganos_geometry_pyramid。

   CREATE EXTENSIION ganos_geometry_pyramid CASCADE;

2. 创建一个只包含主键id和geom列的数据表。

   CREATE TABLE try_ganos_viz(id SERIAL NOT NULL, geom Geometry);

3. 使用脚本或其它工具将一个矢量数据集导入该表，只需要该脚本或工具能够生成类似如下的SQL命令即可（假设数据集文件存储的是4326坐标系的WKT格式数据）。

   INSERT INTO try_ganos_viz(geom) VALUES (ST_GeomFromText('WKT FORMAT TEXT', 4326));

   以上SQL语句将数据以4326坐标系格式存储到数据库中，您也可以指定存储为其他坐标系格式。

4. 导入所有数据后，对Geometry属性列构建一个空间索引。

   CREATE INDEX ON try_ganos_viz USING gist(geom);

构建稀疏金字塔

ST_BuildPyramid

构建稀疏金字塔功能已经封装至ST_BuildPyramid函数，详情请参考ST_BuildPyramid。以下将通过示例形式进行详细介绍。

• 创建一个使用默认参数配置的稀疏金字塔。

  SELECT ST_BuildPyramid('try_ganos_viz', 'geom', 'id', '');

• 在config参数中指定构建稀疏金字塔时的并行度，执行如下命令以32并行度构建矢量金字塔：

  SELECT ST_BuildPyramid('try_ganos_viz', 'geom', 'id', '{"parallel":32}');

• 在config参数中指定“tileSize”和“tileExtend”的值，以定义切片的像素大小和裁切范围。

  SELECT ST_BuildPyramid('try_ganos_viz', 'geom', 'id', '{"parallel":32, "tileSize":4096, "tileExtend":128}');

• Ganos允许根据对性能和存储开销的综合考量，使用“maxLevel”和“splitSize”参数控制稀疏金字塔结构。

  • 相较于存储开销，更加重视查询性能。可以通过设置较小的“splitSize”值（如果一个切片中的要素小于splitSize，则该切片将在查询时动态构建），以确保尽可能多的切片在查询前已被构建。

  • 若更加关注存储开销，除了可以设置较大的“splitSize”值外，还可以通过设置较小的“maxLevel”来控制金字塔的高度，从而减少需维护的切片数量。

  以下示例，构建了一个“maxLevel”值为10，“splitSize”值为1000的稀疏金字塔：

  SELECT ST_BuildPyramid('try_ganos_viz', 'geom', '{"maxLevel":10, "splitSize":1000}');

• 提供“buildRules”参数以灵活控制稀疏金字塔的构造规则。例如，在层级小于等于5的切片中，仅可视化面积大于100的要素，可以使用如下命令：

  SELECT ST_BuildPyramid('try_ganos_viz', 'geom', '{"maxLevel":10, "buildRules":[
                         {"level":[0,1,2,3,4,5], "value":{"filter": "ST_Area(geom)>100"}}
  ]}');

  以上SQL语句中的“filter”所对应的过滤条件可以是任意SQL语句中位于WHERE子句后面的条件语句。

ST_BuildPyramidUseGeomSideLen

构建矢量金字塔还可以使用ST_BuildPyramidUseGeomSideLen函数。与ST_BuildPyramid相比，该函数进行了性能优化，能够在数据表中包含大量面积较小的要素时，有效提升稀疏金字塔的构建效率。详情请参考ST_BuildPyramidUseGeomSideLen。

在使用ST_BuildPyramidUseGeomSideLen函数之前，数据表中需存在实数属性列，以记录geom列中ST_XMax(geom)-ST_XMin(geom)与ST_YMax(geom)-ST_YMin(geom)的较大值。同时，还需对该属性列建立一个索引。以上述的try_ganos_viz表为例，使用以下语句新增一个max_side_len属性列，并为该列构建一个B树索引：

ALTER TABLE try_ganos_viz
ADD COLUMN max_side_len DOUBLE PRECISION;

CREATE OR REPLACE FUNCTION add_max_len_values() RETURNS VOID AS $$
DECLARE
  t_curs CURSOR FOR
    SELECT * FROM try_ganos_viz;
  t_row usbf%ROWTYPE;
  gm GEOMETRY;
  x_min DOUBLE PRECISION;
  x_max DOUBLE PRECISION;
  y_min DOUBLE PRECISION;
  y_max DOUBLE PRECISION;
BEGIN
  FOR t_row IN t_curs LOOP
    SELECT t_row.geom INTO gm;
    SELECT ST_XMin(gm) INTO x_min;
    SELECT ST_XMax(gm) INTO x_max;
    SELECT ST_YMin(gm) INTO y_min;
    SELECT ST_YMax(gm) INTO y_max;
    UPDATE try_ganos_viz
      SET max_side_len = GREATEST(x_max - x_min, y_max - y_min)
    WHERE CURRENT OF t_curs;
  END LOOP;
END;
$$ LANGUAGE plpgsql;
SELECT add_max_len_values();

CREATE INDEX ON try_ganos_viz USING btree(max_side_len);

在调用ST_BuildPyramidUseGeomSideLen时，需要提供新增列的列名，其余参数与ST_BuildPyramid相同。执行以下语句，将对新增了max_side_len列的try_ganos_viz表构建稀疏金字塔：

SELECT ST_BuildPyramidUseGeomSideLen('try_ganos_viz', 'geom', 'max_side_len', 'id', '{"parallel":32}');

ST_BuildPyramidUseGeomSideLen同样支持多种配置参数，能够灵活调整稀疏金字塔的构建规则。

更新金字塔

当数据表中的数据发生更新时，Ganos提供ST_UpdatePyramid函数用于对金字塔进行更新，只需提供数据更新的外包框范围，详情请参考ST_UpdatePyramid。

• 假设在[(lon1, lat1), (lon2, lat2)]的经纬度范围内插入了多条数据，希望所有受影响的切片均被更新（假设maxLevel=16），可以执行以下语句：

  SELECT ST_UpdatePyramid('try_ganos_viz', 'geom', 'id', ST_MakeEnvelope(0,-10,20,30, 4326), '{"updateBoxScale":100000}');

  在上述SQL语句中假设lon1=0，lat1=-10，lon2=20，lat2=30。

• 假设不希望进行全局大规模更新，可以指定一个较小的updateBoxScale参数值，以避免较小层级的切片也被更新。执行以下语句将仅更新范围稍大的切片及其层级以下的切片：

  SELECT ST_UpdatePyramid('try_ganos_viz', 'geom', 'id', ST_MakeEnvelope(0,-10,20,30, 4326), '{"updateBoxScale":2}');

获取矢量切片

矢量切片具备保留要素信息的优势。在地图服务中，相较于传统栅格切片，矢量切片的多级缩放实现更加平滑的过渡，提供更好的视觉效果。Ganos提供ST_Tile函数，用于实时调用获取矢量切片。详情请参考ST_Tile。

执行以下任一语句，以获取中国所在的切片：z=1，x=1，y=0。

SELECT ST_Tile('try_ganos_viz', '1_1_0');

SELECT ST_Tile('try_ganos_viz', 1, 0, 1);

获取栅格切片

Ganos同样支持当前仍被广泛使用的栅格切片。栅格切片是以图片形式呈现的切片，相较于矢量切片，栅格切片不支持客户端的动态渲染，因此对客户端系统的性能要求较低。Ganos提供了ST_AsPng函数，该函数允许在数据库端按需将矢量数据动态渲染为栅格切片，并将结果返回给客户端。此函数具备基本的栅格符号化能力，主要适用于不需复杂符号化的轻量级场景。详情请参考ST_AsPng。

调用以下语句以返回切片编号为'1_1_0'的栅格切片，该切片将依据所提供的渲染参数进行渲染，并以PNG格式输出。

SELECT ST_AsPng('try_ganos_viz', '1_1_0', '{"point_size":5, "line_width":2, "line_color":"#003399FF", 
                "fill_color":"#6699CCCC", "background":"#FFFFFF00"}');

3D矢量可视化使用步骤

准备数据表

准备包含Geometry3D属性列的数据表。可通过ST_GeomFromText、ST_GeomFromWKT、ST_GeomFromWKB等函数实现数据的导入。

1. 在使用Ganos的3D矢量可视化功能之前，请安装3D矢量可视化功能插件ganos_geometry。

   CREATE EXTENSIION ganos_geometry CASCADE;

2. 创建只包含主键id和geom列的数据表。

   CREATE TABLE try_ganos_viz3d(id SERIAL NOT NULL, geom Geometry);

获取3D矢量切片

在使用3D矢量数据可视化功能之前，需要调用Ganos提供的两个函数：ST_AsMVTGeom3D和ST_AsMVT3D。

• ST_AsMVTGeom3D

  ST_AsMVTGeom3D功能类似于PostGIS的ST_AsMVTGeom之于2D矢量数据，但是对其进行了扩展，能够将Geometry3D数据的坐标空间转换到MVT的坐标空间，如果有需要还会根据切片的外包框对Geometry3D数据进行裁切。详细函数介绍请参考ST_AsMVTGeom3D。使用示例如下：

  SELECT ST_AsText(ST_AsMVTGeom3D(ST_Transform('SRID=4326; LINESTRING(-10 -10 30, -10 -20 30)'::geometry, 3857), ST_TileEnvelope(1, 0, 0))) AS geom;

  返回结果如下：

                                          geom                                        
  ------------------------------------------------------------------------------------
   MULTILINESTRING Z ((3868.44444444444 4324.7197219642 30,3868.44444444444 4352 30))
  (1 row)

• ST_AsMVT3D

  ST_AsMVT3D功能类似于PostGIS的ST_AsMVT之于2D矢量数据，将若干行数据封装进一个3D矢量切片中的聚合函数。每条被封装的数据均对应经过坐标空间转换为MVT坐标空间的Geometry3D数据，这些封装的数据共同形成一个切片图层。详细函数介绍请参考ST_AsMVT3D。使用示例如下：

  WITH mvtgeom AS
  (
    SELECT ST_AsMVTGeom3D(
      ST_Transform('SRID=4326; MULTIPOLYGON(((100 50 0, -100 50 1, -100 -50 2, 100 -50 3, 100 50 0)), ((0 0 0, 1 0 1, 2 2 2, 0 0 0)))'::geometry, 3857),
      ST_TileEnvelope(1, 0, 0)) AS geom,  'test' AS name
  )
  SELECT ST_AsMVT3D(mvtgeom.*) FROM mvtgeom;

  返回结果如下：

                                                                                                                       st_asmvt3d                                                                                                                     
  ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
   \x1a760a0764656661756c74125812020000180322500d8044a842b83116ff23d80105802400080f0d810481041d162e000e2e590e0f0dd920dc0405168024d70106c727f3160d0f0dc827f4160e1600f31615c72700080f0d0000001600cc1808c80300000f1a046e616d6522060a04746573742880207802
  (1 row)