Paimon数据源

前提条件

• 已创建包含Paimon服务的集群，例如DataLake或Custom集群，详情请参见创建集群。

• 已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功连接到集群，详情请参见创建集群和快速入门。

使用限制

创建的两个集群需要在同一个VPC下，并且在同一个可用区下。

创建Paimon Catalog

语法​

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

参数说明

• catalog_name：Paimon Catalog的名称，必选参数。命名要求如下：

  • 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，并且只能以字母开头。

  • 总长度不能超过64个字符。

• PROPERTIES：Paimon Catalog的属性，必选参数。

  说明

  StarRocks的Paimon Catalog与原生Paimon API里的Catalog是一一映射关系，配置项和配置含义都相同。

  属性	是否必选	说明
  type	是	数据源类型，取值为paimon。
  paimon.catalog.type	是	Paimon使用的元数据类型，取值为： hive: 使用Hive MetaStore存储的元数据。 filesystem：使用filesystem存储的元数据。 dlf：使用DLF存储的元数据。
  paimon.catalog.warehouse	是	warehouse所在路径，支持HDFS和OSS。
  hive.metastore.uris	否	Hive MetaStore的URI。当paimon.catalog.type设置为hive时，需要填写该参数，格式为thrift://<Hive MetaStore的IP地址>:<端口号>，端口号默认为9083。
  aliyun.oss.endpoint	否	若使用OSS作为warehouse，需填写相应的endpoint。
  dlf.catalog.id	否	DLF数据目录ID。仅当paimon.catalog.type配置为dlf时需要填写该参数。如果未配置 dlf.catalog.id 参数的值，则系统将使用默认DLF Catalog。

示例

以下示例创建了一个名为paimon_catalog的Paimon Catalog，其元数据类型paimon.catalog.type为dlf，用于查询Paimon集群里的数据。

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>/",
);

查看Paimon表数据

您可以通过SELECT查询目标数据库中的目标表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

相关文档

Paimon更多介绍，请参见Paimon概述。