管理 DLF Object 表

更新时间:
复制 MD 格式

Object Table 为指定对象存储目录中的图片、视频等非结构化文件建立元数据索引,并以虚拟表的形式呈现。您可以通过 SQL 计算引擎将其读取为结构化文件列表,也可以通过 PVFS 访问表中的文件。DLF 将 Object Table 作为 Catalog 中的一类表进行管理,并支持配置访问权限。

前提条件

创建 Object 表

  1. 登录数据湖构建控制台

  2. 在数据目录列表页面,单击Catalog名称,进入Catalog详情页。

  3. 在数据库列表中,单击数据库名称,进入表列表页。

  4. 在表列表中,单击新建数据表。

  5. 配置以下信息,单击确定。

    配置项

    说明

    表格式

    选择 Object 表。

    数据表名称

    必填,数据库下不可重名。

    数据表描述

    可选,输入描述信息。

使用 SQL 创建

如果已在其他平台(如 EMR、Flink 等)中关联 Catalog,也可在这些平台上创建数据库和表,元数据将直接写入 DLF。详情请参见引擎对接。

创建 Object 表后,您可以通过 SQL 计算引擎将其作为结构化文件列表读取。

  • Flink SQL示例

    CREATE TABLE object_table WITH (
        'type'='object-table'
    );
  • Spark SQL示例

    CREATE TABLE object_table OPTIONS (
        'type'='object-table'
    )

查看 Object 表和配置权限

  1. 在数据库列表中,单击数据库名称,可查看表列表。

  2. 在表列表中,单击表名称,可查看表字段。

  3. 单击表详情页签,可查看数据表基本信息、字段列表及分区定义。

  4. 单击权限页签,可为用户或角色授予数据表相关权限。详情请参见数据授权管理。

通过 PVFS 访问 Object 表

Paimon 提供了一种文件系统方式访问 DLF 表中的数据。您可以通过虚拟路径 pvfs://catalog_name/database_name/table_name/file 访问 Object 表中的数据。详情请参见文件访问概述。

删除数据表

警告

表被删除后,系统默认将表内数据保留1天,以降低误删除风险。超过1天后,数据将被彻底删除。

  1. 在数据库列表中,单击数据库名称,可查看表列表。

  2. 在表列表中,单击操作列的删除。

  3. 在弹出的提示框中,单击确定,完成数据表删除。

删除后的数据表在元数据保护期内可以恢复。具体操作,请参见回收站。