管理 DLF Object 表

更新时间:
复制 MD 格式

Object Table 为指定对象存储目录中的图片、视频等非结构化文件建立元数据索引,并以虚拟表的形式呈现。您可以通过 SQL 计算引擎将其读取为结构化文件列表,也可以通过 PVFS 访问表中的文件。DLF 将 Object Table 作为 Catalog 中的一类表进行管理,并支持配置访问权限。

前提条件

创建 Object 表

  1. 登录数据湖构建控制台

  2. 数据目录列表页面,单击Catalog名称,进入Catalog详情页。

  3. 数据库列表中,单击数据库名称,进入表列表页。

  4. 表列表中,单击新建数据表

  5. 配置以下信息,单击确定

    配置项

    说明

    表格式

    选择 Object 表

    数据表名称

    必填,数据库下不可重名。

    数据表描述

    可选,输入描述信息。

使用 SQL 创建

如果已在其他平台(如 EMR、Flink 等)中关联 Catalog,也可在这些平台上创建数据库和表,元数据将直接写入 DLF。详情请参见引擎对接

创建 Object 表后,您可以通过 SQL 计算引擎将其作为结构化文件列表读取。

  • Flink SQL示例

    CREATE TABLE object_table WITH (
        'type'='object-table'
    );
  • Spark SQL示例

    CREATE TABLE object_table OPTIONS (
        'type'='object-table'
    )

查看 Object 表和配置权限

  1. 数据库列表中,单击数据库名称,可查看表列表。

  2. 表列表中,单击表名称,可查看表字段。

  3. 单击表详情页签,可查看数据表基本信息、字段列表及分区定义。

  4. 单击权限页签,可为用户或角色授予数据表相关权限。详情请参见数据授权管理

通过 PVFS 访问 Object 表

Paimon 提供了一种文件系统方式访问 DLF 表中的数据。您可以通过虚拟路径 pvfs://catalog_name/database_name/table_name/file 访问 Object 表中的数据。详情请参见文件访问

删除数据表

警告

被删除后,系统默认将表内数据保留1天,以降低误删除风险。超过1天后,数据将被彻底删除。

  1. 数据库列表中,单击数据库名称,可查看表列表。

  2. 表列表中,单击操作列的删除

  3. 在弹出的提示框中,单击确定,完成数据表删除。

删除后的数据表在元数据保护期内可以恢复。具体操作,请参见回收站