在EMR Serverless Spark中使用Paimon

进入会话管理页面。

1. 登录E-MapReduce控制台。

2. 在左侧导航栏，选择EMR Serverless > Spark。

3. 在Spark页面，单击目标工作空间名称。

4. 在EMR Serverless Spark页面，单击左侧导航栏中的会话管理。

在SQL会话页面，单击创建SQL会话。

在创建SQL会话页面的Spark配置区域，配置以下信息，单击创建。详情请参见管理SQL会话。

Spark对Paimon的读写基于Catalog，您可以根据具体场景进行选择。

• Catalog类型介绍

  类型	描述
  Paimon Catalog	用于管理Paimon格式的元数据，只能用于查询和写入Paimon表。 支持自定义元数据类型（DLF 1.0、Hive MetaStore、FileSystem）。 访问Paimon表时应使用格式 <catalogName>.<数据库名>.<表名>。 重要 本文配置中的<catalogName>为Catalog名称，您可以自定义。如无特殊需求时建议保持默认Catalog名称 paimon。
  spark_catalog	Spark默认内置Catalog，通常用于管理Spark SQL内部表的元数据，可以用于查询和写入Paimon表或者非Paimon表。 元数据是当前工作空间的默认Catalog。 如果您希望将默认Catalog修改为外部的Hive Metastore，可以参见EMR Serverless Spark连接外部Hive Metastore。 访问表时可直接使用格式 <数据库名>.<表名>。

• Catalog配置

  • 使用Paimon Catalog

    DLF 1.0

    元数据保存在DLF 1.0中。

    spark.sql.extensions                            org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
    spark.sql.catalog.<catalogName>                 org.apache.paimon.spark.SparkCatalog
    spark.sql.catalog.<catalogName>.metastore       dlf

    Hive MetaStore

    元数据保存在指定的Hive MetaStore中。

    spark.sql.extensions                            org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
    spark.sql.catalog.<catalogName>                 org.apache.paimon.spark.SparkCatalog
    spark.sql.catalog.<catalogName>.metastore       hive
    spark.sql.catalog.<catalogName>.uri             thrift://<yourHMSUri>:<port>

    参数	说明
    thrift://<yourHMSUri>:<port>	Hive MetaStore的URI。格式为thrift://<Hive metastore的IP地址>:9083。 <Hive metastore的IP地址>为HMS服务的内网IP地址。如果您需要指定外部Metastore服务，请参见EMR Serverless Spark连接外部Hive Metastore。

    FileSystem

    元数据保存在文件系统中。

    spark.sql.extensions                            org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
    spark.sql.catalog.<catalogName>                 org.apache.paimon.spark.SparkCatalog
    spark.sql.catalog.<catalogName>.metastore       filesystem
    spark.sql.catalog.<catalogName>.warehouse       oss://<yourBucketName>/warehouse

  • 使用spark_catalog

    spark.sql.extensions               org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions
    spark.sql.catalog.spark_catalog    org.apache.paimon.spark.SparkGenericCatalog

进入SQL开发页面。

在EMR Serverless Spark页面，单击左侧导航栏中的数据开发。

在开发目录页签下，单击图标。

在新建对话框中，输入名称（例如users_task），类型使用默认的SQL > SparkSQL，然后单击确定。

复制如下代码到新增的Spark SQL页签（users_task）中。

-- 创建数据库
CREATE DATABASE IF NOT EXISTS paimon.ss_paimon_db;             

-- 创建Paimon表
CREATE TABLE paimon.ss_paimon_db.paimon_tbl (id INT, name STRING) USING paimon;

-- 写入Paimon表
INSERT INTO paimon.ss_paimon_db.paimon_tbl VALUES (1, "a"), (2, "b");

-- 查询 Paimon 表的写入结果
SELECT * FROM paimon.ss_paimon_db.paimon_tbl ORDER BY id;

-- 删除数据库
DROP DATABASE paimon.ss_paimon_db CASCADE;

-- 创建数据库
CREATE DATABASE IF NOT EXISTS ss_paimon_db; 
CREATE DATABASE IF NOT EXISTS ss_parquet_db;

-- 创建Paimon表和Parquet表
CREATE TABLE ss_paimon_db.paimon_tbl (id INT, name STRING) USING paimon;
CREATE TABLE ss_parquet_db.parquet_tbl USING parquet AS SELECT 3, "c";

-- 写入数据
INSERT INTO ss_paimon_db.paimon_tbl VALUES (1, "a"), (2, "b");
INSERT INTO ss_paimon_db.paimon_tbl SELECT * FROM ss_parquet_db.parquet_tbl;

-- 查询写入结果
SELECT * FROM ss_paimon_db.paimon_tbl ORDER BY id;
SELECT * FROM ss_parquet_db.parquet_tbl;

-- 删除数据库
DROP DATABASE ss_paimon_db CASCADE;
DROP DATABASE ss_parquet_db CASCADE;

在数据库下拉列表中选择一个数据库，在会话下拉列表中选择刚刚创建的SQL会话。

单击运行，执行任务。返回信息如下所示。