湖仓开放架构

MaxCompute提供企业级湖仓开放架构,具备统一元数据管理、开放存储、多元计算方案、高安全性和高性价比的技术优势。

适用客群

  1. 仓内结构化数据占比较高,同时需要湖的开放性支撑跨团队多引擎访问。

  2. 对企业级能力有需求,如行列级权限、数据脱敏、容灾与备份及安全合规性要求较高。

功能简介

统一元数据

MaxCompute提供统一的数据目录、数据治理方案,覆盖表、视图、快照、模型等数据对象,实现精细化访问控制与审计,安全策略一次定义,全局生效。

支持通过Connection托管云服务的访问凭证,主动发现OSS等外部存储湖上的结构化与非结构化数据文件,并注册成外部表,通过表的访问方式简化数据分析流程,同时缓存的湖表统计信息提升计算性能。

开放存储

开放存储满足一份数据存储多引擎使用需求,通过Storage APIMaxCompute托管的表数据资源开放给第三方计算引擎使用。

支持对接 Spark、Flink、Flink CDC、StarRocks、DBT、Presto、Trino、PAI、PyTorch等计算生态。

Storage API提供了高效、低延迟、安全的数据读方式,通过Arrow格式传输,支持谓词下推、分区和列裁剪等性能优化,支持行列级权限、脱敏等安全特性,兼顾跨团队协作效率与合规。

开放计算

MaxCompute自研的 SQL、MaxFrame引擎支持在湖仓生态的多样化数据源中提供统一计算体验,通过外部表外部项目实现多种外部存储的透明访问,用户可以在ETL、数据分析、机器学习任务中灵活调用内外表数据。

image