DLF通过Catalog、数据库、表、视图和函数组织并统一管理湖上元数据。您可以根据数据类型和管理目标选择对应文档。
根据目标选择文档
如果您已经明确要管理的数据对象或要完成的任务，可以直接进入对应文档。
我的目标 |
建议阅读 |
创建和管理Catalog |
|
创建和管理数据库 |
|
根据数据类型和使用目标选择表类型 |
|
管理视图或函数 |
|
恢复误删除的数据库、表或文件 |
|
向其他账号共享数据 |
选择表类型
DLF支持多种湖表和文件格式。请根据数据类型和使用目标选择对应文档。
表类型 |
适用目标 |
参考文档 |
Paimon Table | 管理Paimon表。 | |
Iceberg Table | 管理Iceberg表。 | |
Format Table | 管理Parquet、CSV、ORC等Hive兼容表。 | |
Lance Table | 管理用于AI高性能检索与训练的Lance格式数据。 | |
Object Table | 管理图片、视频等非表格数据集。 |
数据对象层级
DLF采用层级化结构组织元数据资源，主要数据对象如下：
Catalog：元数据的顶层逻辑实体，用于隔离不同业务或用户的元数据，并进行权限和湖数据管理。
Database：Catalog内的元数据逻辑分组，用于进一步组织数据并控制访问。
Table：DLF支持多种表类型，用于统一管理不同格式的数据。
View：持久化在DLF中的视图，可为不同计算引擎配置对应的SQL方言。
Function：持久化在DLF中的函数。
统一元数据服务
DLF提供统一元数据管理服务。阿里云大数据与AI引擎可以通过同一Catalog体系访问DLF管理的数据表、视图和函数元数据。
数据湖格式：支持Apache Paimon、Apache Iceberg及相关生态组件。
AI与向量数据：支持Lance格式，用于AI高性能检索与训练。
非结构化数据：通过Object Table管理图片、视频等非表格数据集。
标准文件格式：支持Parquet、CSV、ORC等Hive兼容表。
DLF还提供符合Apache Paimon REST Catalog标准的表管理API，文件存储结构与开源社区兼容。兼容Paimon的引擎和应用可以在DLF中创建、更新、查询和删除Paimon表。