Object Table 为指定对象存储目录中的图片、视频等非结构化文件建立元数据索引,并以虚拟表的形式呈现。您可以通过 SQL 计算引擎将其读取为结构化文件列表,也可以通过 PVFS 访问表中的文件。DLF 将 Object Table 作为 Catalog 中的一类表进行管理,并支持配置访问权限。
前提条件
-
已创建 DLF 数据目录。详情请参见管理和配置 DLF 数据目录。
-
已在 Catalog 中创建数据库。详情请参见管理 DLF 数据库。
创建 Object 表
-
登录数据湖构建控制台。
-
在数据目录列表页面,单击Catalog名称,进入Catalog详情页。
-
在数据库列表中,单击数据库名称,进入表列表页。
-
在表列表中,单击新建数据表。
-
配置以下信息,单击确定。
配置项
说明
表格式
选择 Object 表。
数据表名称
必填,数据库下不可重名。
数据表描述
可选,输入描述信息。
使用 SQL 创建
如果已在其他平台(如 EMR、Flink 等)中关联 Catalog,也可在这些平台上创建数据库和表,元数据将直接写入 DLF。详情请参见引擎对接。
创建 Object 表后,您可以通过 SQL 计算引擎将其作为结构化文件列表读取。
-
Flink SQL示例
CREATE TABLE object_table WITH ( 'type'='object-table' ); -
Spark SQL示例
CREATE TABLE object_table OPTIONS ( 'type'='object-table' )
查看 Object 表和配置权限
-
在数据库列表中,单击数据库名称,可查看表列表。
-
在表列表中,单击表名称,可查看表字段。
-
单击表详情页签,可查看数据表基本信息、字段列表及分区定义。
-
单击权限页签,可为用户或角色授予数据表相关权限。详情请参见数据授权管理。
通过 PVFS 访问 Object 表
Paimon 提供了一种文件系统方式访问 DLF 表中的数据。您可以通过虚拟路径 pvfs://catalog_name/database_name/table_name/file 访问 Object 表中的数据。详情请参见文件访问。
删除数据表
表被删除后,系统默认将表内数据保留1天,以降低误删除风险。超过1天后,数据将被彻底删除。
在数据库列表中,单击数据库名称,可查看表列表。
在表列表中,单击操作列的删除。
在弹出的提示框中,单击确定,完成数据表删除。
删除后的数据表在元数据保护期内可以恢复。具体操作,请参见回收站。