DLF 作为阿里云统一的数据湖底座,旨在无缝集成主流大数据计算引擎,为实时湖仓、离线湖仓及 OLAP 分析等多样化业务场景提供强大支持。目前,DLF已与实时计算Flink(VVP)、EMR Serverless Spark、EMR Serverless StarRocks 和 EMR on ECS 等核心引擎深度对接,并持续扩展其生态兼容性。
对接方式
为了满足不同引擎和用户在访问数据时的灵活性需求,DLF 提供了以下三种标准化的对接方式:
- Paimon REST:面向基于 Apache Paimon 构建的计算引擎,提供符合 Paimon 社区规范的 RESTful 元数据服务接口,支持表结构管理、快照查询等核心操作。 
- Iceberg REST:面向基于 Apache Iceberg 构建的计算引擎,提供符合 Iceberg 社区规范的 RESTful 元数据服务接口,支持表结构管理、快照查询等核心操作。 
- 文件访问:通过 Paimon 虚拟文件系统(PVFS),将表数据抽象为标准文件路径,直接读取底层数据文件与元数据,无需依赖完整计算引擎,适用于脚本化探索、调试及轻量级数据处理。 
通过这三种方式,您可以根据自身引擎的技术栈和架构偏好,选择最适合的接入路径,实现与 DLF 数据湖的高效协同。
该文章对您有帮助吗?