MaxCompute增量计算是基于Delta Table增量数据存储和读写能力,通过CDC能力扩展增量物化视图,Time travel 以及 Stream Table 等一系列的增量计算能力。同时增量物化视图(IMV)和周期性调度任务提供了不同的触发频率,从而为用户提供更多手段来平衡延迟(Latency)和吞吐量(Throughput)。
背景信息
MaxCompute增量计算产品能力是结合CDC、流对象(Stream)、周期调度任务(Periodic Task)、增量物化视图的增量查询能力,帮助用户能够自定义通过自己的SQL来构建增量数据处理链路。其中增量物化视图能够很好地构建增量计算模型,用户只需要采用声明式的SQL来表达期望的数据结果,通过不同刷新参数的配置来指定想要的刷新频率或者数据新鲜度,后台由引擎自动完成增量刷新和内部优化,构建近实时数据分析Pipeline。
核心功能
增量查询:支持通过SQL语法查询增量数据。
Time travel:支持通过SQL语法查询历史快照,有助于回溯业务历史数据状态以及错误数据恢复。
CDC:支持识别并捕获数据库表中数据的变更,并交付给下游进一步处理。
增量物化视图:支持简易构建自动化增量更新Pipeline。
流对象(Stream):支持流对象记录对表所做的数据操作语言 (DML) 更改,包括插入、更新和删除的数据抓取操作。
周期调度任务(Periodic Task):支持任务Task使用用户定义的函数来自动化和调度业务流程。
文档内容是否对您有帮助?