文档

增量计算概述

更新时间:

MaxCompute增量计算是基于Delta Table增量数据存储和读写能力,通过CDC能力扩展增量物化视图,Time travel 以及 Stream Table 等一系列的增量计算能力。同时增量物化视图(IMV)和周期性调度任务提供了不同的触发频率,从而为用户提供更多手段来平衡延迟(Latency)和吞吐量(Throughput)。

背景信息

MaxCompute增量计算产品能力是结合CDC、流对象(Stream)、周期调度任务(Periodic Task)、增量物化视图的增量查询能力,帮助用户能够自定义通过自己的SQL来构建增量数据处理链路。其中增量物化视图能够很好地构建增量计算模型,用户只需要采用声明式的SQL来表达期望的数据结果,通过不同刷新参数的配置来指定想要的刷新频率或者数据新鲜度,后台由引擎自动完成增量刷新和内部优化,构建近实时数据分析Pipeline。

核心功能

  • 增量查询:支持通过SQL语法查询增量数据。

  • Time travel:支持通过SQL语法查询历史快照,有助于回溯业务历史数据状态以及错误数据恢复。

  • CDC:支持识别并捕获数据库表中数据的变更,并交付给下游进一步处理。

  • 增量物化视图:支持简易构建自动化增量更新Pipeline。

  • 流对象(Stream):支持流对象记录对表所做的数据操作语言 (DML) 更改,包括插入、更新和删除的数据抓取操作。

  • 周期调度任务(Periodic Task):支持任务Task使用用户定义的函数来自动化和调度业务流程。