Delta Table概述

MaxCompute Delta Table是MaxCompute推出的全新增量表格式。Delta Table支持分钟级数据导入,底层使用AliORC作为文件格式,支持UPSERT语义,并能够提供标准的CDC(Change Data Capture)方式读写增量数据。Delta Table依赖于MaxCompute存储服务和元数据服务,自动进行数据管理。本文概要介绍MaxCompute Delta Table的基础功能。

  • Delta Table格式说明

    • 新增 表数据格式,可高效支持增/全量数据的存储和读写,如设置主键,则可支持实时数据更新能力。

  • 近实时增量导入

    • 支持各数据源全量和近实时增量导入功能:MaxCompute联合相关产品定制开发多种数据接入工具,例如MaxCompute定制开发的Flink Connector,DataWorks的数据集成等,用来支持高效的近实时增量数据导入。这些工具会对接MaxCompute的数据通道服务Tunnel Server,主要支持高并发分钟级增量数据写入。

    • 支持各数据源的增全量数据批量写入:支持MaxCompute SQL以及其它一些接口,用于支持增全量数据高效的批量写入。

  • 数据组织优化

    主要由MaxCompute的Storage Service来负责智能的自动管理增量数据文件,其中包括小文件合并Clustering、数据COMPACTION、数据排序等优化服务。对于其中部分操作,Storage Service会根据数据特征、时序等多个维度综合评估,自动执行数据优化任务,尽可能保持稳定高效的数据存储和计算状态。

  • 事务管理

    主要负责增量场景下事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。

  • 基础操作