在EMR Serverless Spark中使用Iceberg

使用限制

仅支持在选择了DLF 1.0或Hive Metastore Service（HMS）的元数据工作空间中使用。

操作流程

步骤一：创建会话资源

1. 进入会话管理页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的会话管理。

2. 在SQL会话页面，单击创建SQL会话。

3. 在创建SQL会话页面的Spark配置区域，配置以下信息，单击创建。详情请参见管理SQL会话。

   DLF 1.0

   spark.sql.extensions                           org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
   spark.sql.catalog.iceberg                      org.apache.iceberg.spark.SparkCatalog
   spark.sql.catalog.iceberg.catalog-impl         org.apache.iceberg.aliyun.dlf.hive.DlfCatalog

   Hive Metastore Service（HMS）

   spark.sql.extensions                           org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
   spark.sql.catalog.iceberg                      org.apache.iceberg.spark.SparkCatalog
   spark.sql.catalog.iceberg.catalog-impl         org.apache.iceberg.hive.HiveCatalog

4. 单击新建SQL会话实例操作列的启动。

步骤二：读写Iceberg表

1. 进入SQL开发页面。

   在EMR Serverless Spark页面，单击左侧导航栏中的数据开发。

2. 在开发目录页签下，单击新建。

3. 在新建对话框中，输入名称（例如users_task），类型使用默认的SparkSQL，然后单击确定。

4. 拷贝如下代码到新增的SparkSQL页签（users_task）中。

   CREATE DATABASE IF NOT EXISTS iceberg.ss_iceberg_db;
   
   CREATE TABLE iceberg.ss_iceberg_db.iceberg_tbl (id INT, name STRING) USING iceberg;
   
   INSERT INTO iceberg.ss_iceberg_db.iceberg_tbl VALUES (1, "a"), (2, "b");
   
   SELECT id, name FROM iceberg.ss_iceberg_db.iceberg_tbl ORDER BY id;

   当您需要进行删除操作时，可以删除相应的表和数据库信息。

   DROP TABLE iceberg.ss_iceberg_db.iceberg_tbl;
   
   DROP DATABASE iceberg.ss_iceberg_db;

5. 在数据库下拉列表中选择一个数据库，在会话下拉列表中选择刚刚创建的SQL会话实例。

6. 单击运行，执行任务。返回信息如下所示。

   

相关文档

• SQL任务和任务编排完整的开发流程示例，请参见SQL开发快速入门。

• 更多Iceberg相关用法和配置，请参见Apache Iceberg。

• 创建SQL会话资源的具体操作，请参见管理SQL会话。

• 创建Notebook会话资源的具体操作，请参见管理Notebook会话。