基本概念

更新时间:2025-03-24 09:20:15

MaxCompute Delta TableMaxCompute推出的增量数据表格式。Delta Table支持分钟级数据导入,底层使用AliORC作为文件格式,支持UPSERT语义,并能够提供按照类CDC(Change Data Capture)格式读写增量数据。Delta Table深度集成了MaxCompute后台存储服务和元数据服务,自动对表数据文件进行治理优化,降低存储成本,提升读写效率。本文概要介绍MaxCompute Delta Table的基础设计原理。

功能

说明

功能

说明

Delta Table格式

全新的增量表数据格式,可高效支持增量/全量数据的存储和读写,并支持设置主键,以及数据实时更新等近实时数仓常用功能。详情请参见表数据格式

近实时增量导入

  • 支持近实时流式写入:MaxCompute联合相关产品定制开发多种数据接入工具,例如MaxCompute定制开发的Flink Connector,DataWorks的数据集成等,用于支持高并发、可扩展的高效近实时增量数据导入。

  • 支持增全量批式写入:支持MaxCompute SQL及其他接口,以高效地批量写入增量和全量数据。

数据组织优化

主要由MaxComputeStorage Service来负责智能的自动管理增量数据文件,其中包括小文件合并Clustering、数据COMPACTION、数据排序等优化服务。对于其中部分操作,Storage Service会根据数据特征、时序等多个维度综合评估,自动执行数据优化任务,尽可能保持稳定高效的数据存储和计算状态。

增量查询

支持通过SQL语法查询增量数据,详情请参见增量查询

Time Travel

支持通过SQL语法查询历史快照,有助于回溯业务历史数据状态以及错误数据恢复。详情请参见Time Travel

事务管理

主要负责增量场景下事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。