引擎对接
DLF是阿里云推出的数据湖底座,能够与阿里云主流的大数据计算产品协作,满足实时湖仓、离线湖仓以及OLAP数据分析等多样化场景需求。目前,DLF已支持多种计算引擎,包括Serverless Flink(VVP)、EMR Serverless Spark、EMR Serverless StarRocks和EMR on ECS等,并持续扩展与其他计算引擎的对接能力,以进一步提升数据湖生态的兼容性与灵活性。
使用流程
开通DLF(需2.5版本)。
创建Catalog,定义数据湖的元数据管理结构。
在计算引擎中对接Catalog,完成元数据的关联配置。
使用计算引擎的SQL方式创建表,定义数据存储结构。
进行数据读写操作,实现数据的高效存取。
对湖表进行维护与管理,确保元数据和数据的一致性及可靠性。