文档

Paimon数据源

更新时间:

通过Paimon Catalog,您可以直接查询Paimon中的数据。本文为您介绍如何创建和查看Paimon Catalog。

创建Paimon Catalog

语法

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

参数说明

  • catalog_name:Paimon Catalog的名称,必选参数。命名要求如下:

    • 必须由字母(a~z或A~Z)、数字(0~9)或下划线(_)组成,并且只能以字母开头。

    • 总长度不能超过64个字符。

  • PROPERTIES:Paimon Catalog的属性,必选参数。

    说明

    StarRocks的Paimon Catalog与原生Paimon API里的Catalog是一一映射关系,配置项和配置含义都相同。

    属性

    是否必选

    说明

    type

    数据源类型,取值为paimon。

    paimon.catalog.type

    Paimon使用的元数据类型,取值为:

    • hive: 使用Hive MetaStore存储的元数据。

    • filesystem:使用filesystem存储的元数据。

    • dlf:使用DLF存储的元数据。

    paimon.catalog.warehouse

    warehouse所在路径,支持HDFS、OSS和OSS-HDFS。

    hive.metastore.uris

    Hive MetaStore的URI。当paimon.catalog.type设置为hive时,需要填写该参数,格式为thrift://<Hive MetaStore的IP地址>:<端口号>,端口号默认为9083。

    aliyun.oss.endpoint

    若使用OSS或OSS-HDFS作为warehouse,需填写相应的endpoint。

    dlf.catalog.id

    DLF数据目录ID。仅当paimon.catalog.type配置为dlf时需要填写该参数。如果未配置 dlf.catalog.id 参数的值,则系统将使用默认DLF Catalog。

示例

以下示例创建了一个名为paimon_catalog的Paimon Catalog,其元数据类型paimon.catalog.typedlf,用于查询Paimon集群里的数据。

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>/",
);

查看Paimon表数据

您可以通过SELECT查询目标数据库中的目标表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

相关文档

Paimon更多介绍,请参见Paimon概述

  • 本页导读 (1)