External Dynamic Table介绍

HologresV3.0版本开始,支持在DLF 2.0数据源(Paimon)的EXTERNAL SCHEMA下创建EXTERNAL TABLE,实现与数据湖数据的无缝互通。在此基础上,Hologres4.0版本开始,支持External Dynamic Table,通过External的能力在Paimon自动创建表,通过Dynamic Table的能力自动增量加工数据。通过External Dynamic Table,可以很好的实现数据自动加工回写至数据湖的能力,满足湖仓一体建设需求。

架构原理

image

功能优势

External Dynamic Table具备External Table可以在Hologres中创建数据湖的表,也具备Dynamic Table的能力,有全量和增量刷新两种刷新模式,实现数据的自动加工。其优势如下:

  • 一张表实现加工和回写多个任务:只需要在一个External Dynamic Table实现数据加工,创建数据湖目标表并将加工好的数据同步至数据湖的能力,无需维护多个作业,只需要管理一个Dynamic Table任务即可,自动刷新,刷新即回写,简单易用。

  • 数据自动增量写湖:支持通过增量刷新的模式将数据加工后的数据回写至数据湖,增量的方式可以做到每次仅加工新增的数据量,相比其他产品,可以做到计算的数据量更少,资源使用更少,计算时效性更快。

  • 计算成本更低:能结合Hologres Serverless,仅在每次刷新时使用计算资源,用完自动释放,无需常驻资源,灵活弹性,显著降低成本,详见什么是Hologres Serverless型实例

典型应用场景

External Dynamic Table通过External Table+Dynamic Table融合的能力,可以很好的适用于如下场景。

低成本的数据湖近实时查询

External Dynamic TableBase表可以是数据湖Paimon,通过增量的方式加工Paimon的数据,再自动回写至Paimon,数据不出Paimon就能实现高性能的数据加工,加工好的数据还能通过Hologres External Table直接查询,实现数据湖数据的近实时查询。

湖仓一体

External Dynamic TableBase表可以是Hologres内表,也可以是MaxCompute等数据仓库的数据,数据加工后自动写湖,以数据湖作为统一存储,既能实现低成本的存储,高效率的加工,也能实现湖和仓数据的有机融合。