数据管理
Flink Catalog是元数据管理核心。它可以注册、存储并加载各类数据源元数据。Catalog统一访问管理外部系统元数据,使Flink SQL实现元数据集中持久化。
为什么使用Catalog
统一管理: 集中管理不同系统元数据,简化数据发现。
简化操作: SQL 直接引用表函数,无需重复定义。
提高效率: 减少元数据硬编码,提升开发效率。
集成开放: 无缝集成Paimon,Hive等外部元数据服务。
支持的Catalog
传统数据湖/仓 | 关系型/分析型数据库 |
消息型/非关系数据源 | 集成/通用扩展 |