数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据最上层实体,它可以包含多个数据库。主要适用于元数据隔离的场景。本文为您介绍数据目录(Catalog)的基本操作。
新建数据目录
登录数据湖构建控制台。
在Catalog列表页面,单击新建Catalog。
选择Catalog类型,并配置相应信息。
Paimon类型
配置项
说明
Catalog类型
Paimon
:选择Paimon Catalog时,湖表存储格式为Paimon,新业务推荐使用。Catalog名称
必选,唯一标识,不可重名。
描述
可选,输入描述信息。
Hive类型
配置项
说明
Catalog类型
Hive
:Hive Catalog所支持的湖表格式兼容HMS,支持计算引擎使用Paimon、Iceberg、Delta lake、Hudi等湖格式。Catalog名称
必选,唯一标识,不可重名。
描述
可选,输入描述信息。
使用全新Bucket
是否使用全新Bucket。
是(默认):系统会代理创建OSS-HDFS Bucket,并自动完成该Bucket在DLF中的纳管。
否:需先将OSS Bucket加入白名单,之后即可选用自己的Bucket。
存储位置
当不使用全新Bucket时,需选择OSS、OSS-HDFS存储路径。系统会自动完成该 Bucket 在 DLF 的纳管。
说明使用全新Bucket和存储位置,仅对名下存在加白Bucket的用户可见,您可以加入钉钉群106575000021申请白名单权限。
勾选服务协议,并单击创建Catalog。
查看数据目录
在左侧菜单栏,选择数据目录,单击Catalog名称,进入Catalog详情页。
单击详细信息页签,可查看Catalog基本信息。
如Catalog名称、CatalogId、描述、Catalog类型、存储量、Catalog存储类型、存储位置、创建人、Owner、创建时间、最近修改时间、表授权方案等。
在数据库页签,可查看Catalog下所有的数据库信息。数据库相关操作,请参见数据库。
还可根据Catalog类型,查看更多信息。
Paimon类型
Hive类型
编辑数据目录
在Catalog列表页面,单击操作列的编辑,输入描述。
删除数据目录
如果该数据目录下的default
数据库中存在表,需要先删除这些表;如果存在default
以外的数据库,需要先删除这些数据库及数据库下的表;否则Catalog将删除失败。
在Catalog列表页面,单击操作列的删除。
在弹出的提示框中,单击确定。