MaxCompute增量计算是基于Delta Table增量数据存储和读写能力,通过CDC能力扩展增量物化视图,Time travel 以及 Stream Table 等一系列的增量计算能力。同时增量物化视图(IMV)和周期性调度任务提供了不同的触发频率,从而为用户提供更多手段来平衡延迟(Latency)和吞吐量(Throughput)。
背景信息
MaxCompute增量计算产品能力是结合CDC、流对象(Stream)、周期调度任务(Periodic Task)、增量物化视图(Delta Live MV)的增量查询能力,帮助用户能够自定义通过自己的SQL来构建增量数据处理链路。其中增量物化视图能够很好地构建增量计算模型,用户只需要采用声明式的SQL来表达期望的数据结果,通过不同刷新参数的配置来指定想要的刷新频率或者数据新鲜度,后台由引擎自动完成增量刷新和内部优化,构建近实时数据分析Pipeline。
核心功能
CDC(邀测):支持识别并捕获数据库增量表(DeltaTable)中数据的变更,并交付给下游进一步处理。
增量物化视图(Delta Live MV)(邀测):支持增量物化视图的计算能力,简易构建自动化增量更新Pipeline。
流对象(Stream):支持流对象记录对表所做的数据操作语言 (DML) 更改,包括插入、更新和删除的数据抓取操作。
周期调度任务(Periodic Task):支持任务Task使用用户定义的函数来自动化和调度业务流程。
使用说明
目前增量计算的流对象(Stream)功能已正式发布,CDC、增量物化视图(Delta Live MV)及周期调度任务(Periodic Task)功能均在邀测中,试用邀测功能需要使用云栖新功能邀测项目。
请在新功能邀测申请表单中选择基于增量物化视图的增量计算进行注册。注册完成后,您可在MaxCompute控制台创建云栖新功能邀测项目,体验新功能。