DLA Ganos支持多种数据源,并通过统一的访问接口与数据模型实现对多元异构数据的加载与计算,DLA Ganos 3.0支持数据源如下:3

操作步骤

  1. 初始化SparkSession对象
    通过DLA Ganos加载数据,首先需要初始化SparkSession对象以支持对时空数据的操作:
    val spark: SparkSession = {
       val session = SparkSession.builder
         .master("local[*]")
         .withKryoSerialization
         .config(new SparkConf(false))
         .getOrCreate()
       session
    }
    spark.withGanosGeometry //支持矢量数据加载
    spark.withGanosRaster        //支持栅格数据加载
  2. 数据的读取与写入
    通过SparkSession提供的read与write对象的相关接口实现数据的读取与写入。相关数据源接口说明如下所示:
    • 矢量数据源
      数据源名称(format) DSL API 解释 写模式
      dla-ganos-geometry ganos.geometry 矢量数据源 Yes
    • 栅格数据源
      数据源名称(format) DSL API 解释 写模式
      geotiff ganos.geotiff 从文件系统加载geotiff文件。 Yes
      polardb-raster-image ganos.polardbRasterImage 从polardb加载单景影像。 No
      polardb-raster-cover ganos.polardbRasterCover 从polardb加载多景影像。 No
      polardb-raster-catalog ganos.polardbRasterCatalog 从polardb加载栅格图层元数据。 No
      polardb-geometry ganos.polardbGeometry 从polardb加载矢量要素。 No
      hbase-raster-catalog ganos.hbaseRasterCatalog 从Lindorm(HBase)加载栅格图层元数据。 No
      hbase-raster-image ganos.hbaseRasterImage 从Lindorm(HBase)加载单景影像。 Yes
      hbase-raster-cover ganos.hbaseRasterCover 从Lindorm(HBase)加载多景影像。 Yes
      oss ganos.oss 从OSS加载单景Geotiff影像。 Yes
      geomesa ganos.geomesa 从geomesa数据库加载矢量要素。 Yes

    更多案例请参见GitHub测试用例与说明文档:https://github.com/aliyun/alibabacloud-dla-demo