增量计算概述

MaxCompute增量计算是基于Delta Table对增量数据的存储和读写能力,发展出来的对增量数据进行复杂计算处理和动态捕获数据变化的功能。

背景信息

用户可通过动态物化视图(Delta Live MV)实现基于增量数据的复杂计算,这也是增量计算的核心部分。动态物化视图采用增量计算技术,能够在流式和批处理场景下支持统一的SQL逻辑,并通过自动捕获源表(Base Table)的增量变化,持续进行高效率、低成本的增量计算,从而实现对流和批两条业务链路的统一。通过调整动态物化视图(Delta Live MV)的自动刷新频率,可以在流式处理和批处理等不同场景下实现数据新鲜度与计算成本之间的最佳平衡。

已经使用MaxCompute搭建了企业离线数仓的用户,可以通过较小的改动轻松实现对现有批量离线业务的近实时化改造,从而逐步实现将MaxCompute系统从单一的离线业务系统升级为流批一体的数仓架构。对于MaxCompute的新用户,建议直接采用动态物化视图并根据不同业务的实时性需求,搭建并实现增全量一体及流批一体的企业数仓架构。

同时,用户还可以通过流对象(Stream)和周期性任务(Periodic Task)组合的方式,动态捕获上游数据的变化。

核心场景

使用说明

目前增量计算的流对象(Stream)功能已正式发布,动态物化视图(Delta Live MV)及周期调度任务(Periodic Task)功能均在邀测中,如您需要试用邀测功能,请提交工单