数据目录

数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据最上层实体,它可以包含多个数据库。主要适用于元数据隔离的场景。本文为您介绍数据目录(Catalog)的基本操作。

新建数据目录

  1. 登录数据湖构建控制台

  2. Catalog列表页面,单击新建Catalog

  3. 选择Catalog类型,并配置相应信息。

    Paimon类型

    配置项

    说明

    Catalog类型

    Paimon:选择Paimon Catalog时,湖表存储格式为Paimon,新业务推荐使用。

    Catalog名称

    必选,唯一标识,不可重名。

    描述

    可选,输入描述信息。

    Hive类型

    配置项

    说明

    Catalog类型

    Hive:Hive Catalog所支持的湖表格式兼容HMS,支持计算引擎使用Paimon、Iceberg、Delta lake、Hudi等湖格式。

    Catalog名称

    必选,唯一标识,不可重名。

    描述

    可选,输入描述信息。

    使用全新Bucket

    是否使用全新Bucket。

    • 是(默认):系统会代理创建OSS-HDFS Bucket,并自动完成该Bucket在DLF中的纳管。

    • 否:需先将OSS Bucket加入白名单,之后即可选用自己的Bucket。

    存储位置

    当不使用全新Bucket时,需选择OSS、OSS-HDFS存储路径。系统会自动完成该 Bucket 在 DLF 的纳管。

    说明

    使用全新Bucket存储位置仅对名下存在加白Bucket的用户可见,您可以加入钉钉群106575000021申请白名单权限。

  4. 勾选服务协议,并单击创建Catalog

查看数据目录

  1. 在左侧菜单栏,选择数据目录,单击Catalog名称,进入Catalog详情页。

  2. 单击详细信息页签,可查看Catalog基本信息。

    如Catalog名称、CatalogId、描述、Catalog类型、存储量、Catalog存储类型、存储位置、创建人、Owner、创建时间、最近修改时间、表授权方案等。

  3. 数据库页签,可查看Catalog下所有的数据库信息。数据库相关操作,请参见数据库

  4. 还可根据Catalog类型,查看更多信息。

    Paimon类型

    • 单击权限页签,可为用户或角色授予数据目录相关权限。详情请参见授权管理

    • 单击存储概览页签,可以查看Catalog下的存储量、存储趋势、文件数、各种排名及存储分布等图表信息。

    • 单击存储优化页签,可查看Catalog存储优化策略、优化效果、最新执行历史等信息。详情请参见存储优化使用须知

    Hive类型

    • 单击权限页签,单击授权,可为用户或角色授予数据目录相关权限。详情请参见授权管理

      说明

      Catalog权限管理开关默认开启,仅有DLF super_administrator、DLF admin权限的用户可对Catalog权限管理开关进行操作。

    • 单击纳管Buckets页签,可查看已纳管的OSS、OSS-HDFS Bucket信息。详情请参见纳管Buckets

编辑数据目录

  1. Catalog列表页面,单击操作列的编辑,输入描述

  2. 勾选同意服务协议,并单击更新Catalog

删除数据目录

重要

如果该数据目录下的default数据库中存在表,需要先删除这些表;如果存在default以外的数据库,需要先删除这些数据库及数据库下的表;否则Catalog将删除失败。

  1. Catalog列表页面,单击操作列的删除

  2. 在弹出的提示框中,单击确定

与大数据&AI产品集成