Delta Table概述

Delta Table格式说明

• 新增 表数据格式，可高效支持增/全量数据的存储和读写，如设置主键，则可支持实时数据更新能力。

近实时增量导入

• 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接MaxCompute的数据通道服务Tunnel Server，主要支持高并发分钟级增量数据写入。

• 支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。

数据组织优化

主要由MaxCompute的Storage Service来负责智能的自动管理增量数据文件，其中包括小文件合并Clustering、数据COMPACTION、数据排序等优化服务。对于其中部分操作，Storage Service会根据数据特征、时序等多个维度综合评估，自动执行数据优化任务，尽可能保持稳定高效的数据存储和计算状态。

事务管理

主要负责增量场景下事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。