使用OSS Foreign Table进行数据湖分析

更新时间: 2024-12-04 17:53:03

OSS Foreign Table(简称OSS FDW)是基于PostgreSQL Foreign Data Wrapper(简称PG FDW)框架开发的用于访问OSS数据的数据分析方案,支持将OSS数据导入至AnalyticDB PostgreSQL版,且提供分区表功能,在性能、功能以及稳定性上都优于OSS External Table。

功能介绍

OSS Foreign Table支持如下功能:

功能

介绍

查询分析OSS数据

您可以通过AnalyticDB PostgreSQL版查询OSS Foreign Table中的数据,也可以对OSS Foreign Table和本地表进行关联分析。

查询OSS Foreign Table的数据与查询AnalyticDB PostgreSQL版数据库本地表数据方法一致。

OSS Foreign Table外表与本地表关联分析

使用OSS Foreign Table进行数据湖分析

您可以通过OSS Foreign Table将OSS数据导入到AnalyticDB PostgreSQL版数据库。

使用OSS Foreign Table导入和导出数据

您可以通过OSS Foreign Table将AnalyticDB PostgreSQL版数据库中的数据导出到OSS。

使用OSS Foreign Table分区表

OSS Foreign Table提供了分区表功能,当查询语句的WHERE条件中包含分区列时,可以有效减少从OSS上拉取的数据,从而提升查询的执行效率。

与OSS External Table的对比

OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table ,具体信息如下:

功能

OSS Foreign Table

OSS External Table

导入OSS数据或导出数据到OSS

支持

支持

OSS数据分析(大数据量场景)

大数据量场景的数据分析性能优于OSS External Table。

大数据量场景的数据分析性能可能无法达到预期。

支持的文件格式

支持如下文件格式:

  • AVRO

  • ORC

  • PARQUET

  • JSON(支持GZIP压缩)

  • JSONLINE(支持GZIP压缩)

  • CSV(支持GZIP、标准SNAPPY压缩)

  • TEXT(支持GZIP、标准SNAPPY压缩)

支持如下文件格式:

  • CSV(支持GZIP、标准SNAPPY压缩)

  • TEXT(支持GZIP、标准SNAPPY压缩)

分区表

支持

不支持

相关文档

上一篇: 使用ODPS Foreign Table访问MaxCompute数据 下一篇: 使用OSS Foreign Table进行数据湖分析