本文介绍云数据库 SelectDB 版与Paimon数据源进行对接使用的流程，指导您对Paimon数据源进行联邦分析。
注意事项
当数据位于HDFS时，需要将
core-site.xml、hdfs-site.xml与hive-site.xml放到FE和BE的conf目录下。SelectDB会优先读取conf目录下的Hadoop配置文件，再读取环境变量HADOOP_CONF_DIR的相关配置文件。当前适配的Paimon版本为0.5.0。
创建Catalog
Paimon Catalog支持基于两种Metastore类型创建Catalog：
Filesystem（默认）：元数据和数据均存储在Filesystem。
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。
基于FileSystem创建Catalog
SelectDB 2.X及之前版本，请参见基于Hive Metastore创建Catalog。
此处以HDFS为例：
CREATE CATALOG `paimon_hdfs` PROPERTIES (
"type" = "paimon",
"warehouse" = "hdfs://HDFS8000871/user/paimon",
"dfs.nameservices" = "HDFS8000871",
"dfs.ha.namenodes.HDFS8000871" = "nn1,nn2",
"dfs.namenode.rpc-address.HDFS8000871.nn1" = "172.21.0.1:4007",
"dfs.namenode.rpc-address.HDFS8000871.nn2" = "172.21.0.2:4007",
"dfs.client.failover.proxy.provider.HDFS8000871" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"hadoop.username" = "hadoop"
);
基于Hive Metastore创建Catalog
CREATE CATALOG `paimon_hms` PROPERTIES (
"type" = "paimon",
"paimon.catalog.type" = "hms",
"warehouse" = "hdfs://HDFS8000871/user/zhangdong/paimon2",
"hive.metastore.uris" = "thrift://172.21.0.44:7004",
"dfs.nameservices" = "HDFS8000871",
"dfs.ha.namenodes.HDFS8000871" = "nn1,nn2",
"dfs.namenode.rpc-address.HDFS8000871.nn1" = "172.21.0.1:4007",
"dfs.namenode.rpc-address.HDFS8000871.nn2" = "172.21.0.2:4007",
"dfs.client.failover.proxy.provider.HDFS8000871" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"hadoop.username" = "hadoop"
);
列类型映射
Paimon Data Type | SelectDB Data Type | 备注 |
BooleanType | Boolean | 无 |
TinyIntType | TinyInt | 无 |
SmallIntType | SmallInt | 无 |
IntType | Int | 无 |
FloatType | Float | 无 |
BigIntType | BigInt | 无 |
DoubleType | Double | 无 |
VarCharType | VarChar | 无 |
CharType | Char | 无 |
DecimalType(precision, scale) | Decimal(precision, scale) | 无 |
TimestampType,LocalZonedTimestampType | DateTime | 无 |
DateType | Date | 无 |
MapType | Map | 支持Map嵌套 |
ArrayType | Array | 支持Array嵌套 |
VarBinaryType, BinaryType | Binary | 无 |
- 本页导读 （1）