数据湖构建之MaxCompute湖仓一体最佳实践

MaxCompute + DLF湖仓一体方案打破数据湖与数据仓库割裂的体系,架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合,构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。

背景信息

大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。与数据湖相比数据仓库具备易优化、易治理等优点,但同时面临数据种类单一,灵活性低,仅向特定引擎开放等不足,提高了数据存储和加工的成本,不利于数据的共享。依托数据湖构建产品(DLF)提供的企业级元数据能力,MaxCompute数仓可以通过共享元数据的方式访问湖上的存储,与湖上引擎打通,实现MaxCompute湖仓一体。

方案详情