Flink CDC数据摄入作业开发参考

数据摄入是基于Flink CDC实现的、通过开发YAML作业的形式将数据从源端同步到目标端的一站式数据同步框架,实现从异构数据源端到数据目标端的精准高效同步,提供毫秒级延迟的全增量一体化接入能力,在零代码开发前提下满足实时数据同步、实时数仓构建、流式湖仓构建等场景需求。

本文将从以下方面,向您介绍开发Flink CDC数据摄入作业所需的基本概念与配置参数。

功能说明

文档

Flink CDC数据摄入作业组成结构

Flink CDC作业结构

数据源和目标端配置

SourceSink模块

数据的处理与转换方式

Transform模块

数据流向规则配置

Route模块

作业全局配置

Flink CDC Pipeline模块

表结构变更同步配置

Flink CDC表结构变更同步配置

内置函数

Flink CDC内置函数

自定义函数

Flink CDC自定义函数