文档

访问宽表引擎数据

更新时间:

本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。

准备工作

访问宽表引擎数据

您可以直接在Catalog "lindorm_table"中访问Lindorm宽表引擎数据。Lindorm计算引擎不支持对Lindorm宽表引擎中的表进行DDL操作和分区操作,仅支持常规DML操作。示例语句如下:

  • 使用Catalog "lindorm_table"

    USE lindorm_table;
  • 查看表test的结构。

    SHOW CREATE TABLE test;

    返回内容如下:

    +----------------------------------------------------+
    | CREATE TABLE default.test (                        |
    |  `id` INT,                                         |
    |  `name` STRING)                                    |
    |                                                    | 
    +----------------------------------------------------+
  • 向Lindorm宽表引擎中的表插入数据。

    INSERT INTO test VALUES (0, 'Jay');
  • 查询Lindorm宽表引擎中的表数据。

    SELECT * FROM test;

更多SQL语法请参见DML

BulkLoad宽表数据

BulkLoad数据导入的SQL语法和普通的INSERT语句语法相同。如果您需要通过SQL批量写入宽表引擎,可以配置如下参数:

配置项

说明

spark.sql.catalog.lindorm_table.bulkLoad.enabled

是否开启BulkLoad导入功能。

取值如下:

  • false(默认值):不开启。

  • true:开启。

spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor

宽表单分区的写入并发度。默认值为4

重要
  • 开启BulkLoad导入功能后,结果数据将直接生成宽表文件,并完成注册,写入吞吐更高。

  • 对于BulkLoad导入的数据,宽表不会自动构建二级索引和搜索索引。