Lance Table

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

本文为您介绍数据湖构建中Lance数据表的基本操作。

新建数据表

  1. 登录数据湖构建控制台

  2. Catalog列表页面,单击Catalog名称,进入Catalog详情页。

  3. 数据库列表中,单击数据库名称,进入表列表页。

  4. 表列表中,单击新建数据表

  5. 配置以下信息,单击确定

    配置项

    说明

    表格式

    选择 Iceberg 表

    表数据库名称

    必填,数据库下不可重名。

    数据表描述

    可选,输入描述信息。

    定义表中的列信息,包括列名称、是否为主键、是否非空、是否为分区字段、数据类型、长度/类型、描述及操作。

    表自定义属性

    可以添加自定义属性,在创建过程中会覆盖 DLF 元数据服务对应的默认参数,适用的配置项详见Lance官方文档

SQL示例

Spark SQL示例

CREATE TABLE lance_table (
    a INT,
    b STRING
) OPTIONS (
    'type'='lance-table'
)

查看数据表

  1. 数据库列表中,单击数据库名称,可查看表列表。

  2. 表列表中,单击表名称,可查看表字段。

  3. 单击表详情页签,可查看数据表基本信息、字段列表及分区定义。

  4. 单击权限页签,可为用户或角色授予数据表相关权限。详情请参见授权管理

通过PVFS访问数据表

Paimon提供了一种文件系统方式访问DLF表中的数据,可以通过虚拟路径pvfs://catalog_name/database_name/table_name/file的方式访问Lance表中的数据。详情请参见PIP-32: Introduce PVFS: Paimon Virtual Storage

删除数据表

警告

被删除后,系统默认将表内数据保留1天,以降低误删除风险。超过1天后,数据将被彻底删除。

  1. 数据库列表中,单击数据库名称,可查看表列表。

  2. 表列表中,单击操作列的删除

  3. 在弹出的提示框中,单击确定,完成数据表删除。