使用OSS Foreign Table进行数据湖分析
OSS Foreign Table(简称OSS FDW)是基于PostgreSQL Foreign Data Wrapper(简称PG FDW)框架开发的用于访问OSS数据的数据分析方案,支持将OSS数据导入至AnalyticDB PostgreSQL版,且提供分区表功能,在性能、功能以及稳定性上都优于OSS External Table。
功能介绍
OSS Foreign Table支持如下功能:
功能 | 介绍 |
您可以通过AnalyticDB PostgreSQL版查询OSS Foreign Table中的数据,也可以对OSS Foreign Table和本地表进行关联分析。 查询OSS Foreign Table的数据与查询AnalyticDB PostgreSQL版数据库本地表数据方法一致。 | |
您可以通过OSS Foreign Table将OSS数据导入到AnalyticDB PostgreSQL版数据库。 | |
您可以通过OSS Foreign Table将AnalyticDB PostgreSQL版数据库中的数据导出到OSS。 | |
OSS Foreign Table提供了分区表功能,当查询语句的WHERE条件中包含分区列时,可以有效减少从OSS上拉取的数据,从而提升查询的执行效率。 |
与OSS External Table的对比
OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table ,具体信息如下:
功能 | OSS Foreign Table | OSS External Table |
导入OSS数据或导出数据到OSS | 支持 | 支持 |
OSS数据分析(大数据量场景) | 大数据量场景的数据分析性能优于OSS External Table。 | 大数据量场景的数据分析性能可能无法达到预期。 |
支持的文件格式 | 支持如下文件格式:
| 支持如下文件格式:
|
分区表 | 支持 | 不支持 |