MaxCompute Delta Table是MaxCompute推出的增量数据表格式。Delta Table支持分钟级数据导入,底层使用AliORC作为文件格式,支持UPSERT语义,并能够提供按照类CDC(Change Data Capture)格式读写增量数据。Delta Table深度集成了MaxCompute后台存储服务和元数据服务,自动对表数据文件进行治理优化,降低存储成本,提升读写效率。本文概要介绍MaxCompute Delta Table的基础设计原理。
功能 | 说明 |
功能 | 说明 |
Delta Table格式 | 全新的增量表数据格式,可高效支持增量/全量数据的存储和读写,并支持设置主键,以及数据实时更新等近实时数仓常用功能。详情请参见表数据格式。 |
近实时增量导入 |
|
数据组织优化 | 主要由MaxCompute的Storage Service来负责智能的自动管理增量数据文件,其中包括小文件合并Clustering、数据COMPACTION、数据排序等优化服务。对于其中部分操作,Storage Service会根据数据特征、时序等多个维度综合评估,自动执行数据优化任务,尽可能保持稳定高效的数据存储和计算状态。 |
增量查询 | 支持通过SQL语法查询增量数据,详情请参见增量查询。 |
Time Travel | 支持通过SQL语法查询历史快照,有助于回溯业务历史数据状态以及错误数据恢复。详情请参见Time Travel。 |
事务管理 | 主要负责增量场景下事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。 |