MaxCompute Delta Table是MaxCompute推出的全新增量表格式。Delta Table支持分钟级数据导入,底层使用AliORC作为文件格式,支持UPSERT语义,并能够提供标准的CDC(Change Data Capture)方式读写增量数据。Delta Table依赖于MaxCompute存储服务和元数据服务,自动进行数据管理。本文概要介绍MaxCompute Delta Table的基础功能。
Delta Table格式说明
新增 表数据格式,可高效支持增/全量数据的存储和读写,如设置主键,则可支持实时数据更新能力。
近实时增量导入
支持各数据源全量和近实时增量导入功能:MaxCompute联合相关产品定制开发多种数据接入工具,例如MaxCompute定制开发的Flink Connector,DataWorks的数据集成等,用来支持高效的近实时增量数据导入。这些工具会对接MaxCompute的数据通道服务Tunnel Server,主要支持高并发分钟级增量数据写入。
支持各数据源的增全量数据批量写入:支持MaxCompute SQL以及其它一些接口,用于支持增全量数据高效的批量写入。
数据组织优化
主要由MaxCompute的Storage Service来负责智能的自动管理增量数据文件,其中包括小文件合并Clustering、数据COMPACTION、数据排序等优化服务。对于其中部分操作,Storage Service会根据数据特征、时序等多个维度综合评估,自动执行数据优化任务,尽可能保持稳定高效的数据存储和计算状态。
事务管理
主要负责增量场景下事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。
基础操作
DDL操作-Data Definition Language
数据写入