通过Spark SQL读写Delta外表

步骤一：进入数据开发

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，在企业版、基础版或湖仓版页签下，单击目标集群ID。

2. 在左侧导航栏，单击作业开发 > SQL开发。

3. 在SQLConsole窗口，选择Spark引擎和Job型资源组。

步骤二：创建外库和Delta外表

1. 执行以下语句，创建数据库。如果已有数据库，可跳过本步骤。

   add jar oss://<bucket_name>/path/to/delta-core_xx.jar;    /*自编译Delta包，需要手动上传至OSS中。*/
   
   add jar oss://<bucket_name>/path/to/delta-storage-xx.jar; /*自编译Delta包，需要手动上传至OSS中。*/
   
   SET spark.adb.connectors=oss;   /*启用AnalyticDB MySQL版Spark内置的连接器OSS。*/ 
   
   SET spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension;  /*开源Spark参数。*/
   
   SET spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog;   /*开源Spark参数。*/
   
   CREATE DATABASE if not exists external_delta_db
   location "oss://<bucket_name>/test/";          /*用于在该路径中创建表，请替换为自己的OSS路径。*/

2. 执行以下语句，创建Delta外表。

   CREATE TABLE if not exists external_delta_db.delta_test_tbl (
     id int, 
     name string, 
     age int
   ) using delta 
   partitioned by (age) 
   location "oss://<bucket_name>/test/delta_test_tbl";

步骤三：写入Delta外表数据

INSERT

执行以下语句，写入数据。您可以选择以下任意一种方式向Delta外表中写入数据。

• 方式一：INSERT INTO写入

  INSERT INTO external_delta_db.delta_test_tbl values(1, 'lisa', 10),(2, 'jams', 10);

• 方式二：INSERT OVERWRITE全表写入

  INSERT OVERWRITE external_delta_db.delta_test_tbl values (2, 'zhangsan', 10), (4, 'lisi', 30);

• 方式三：INSERT OVERWRITE静态分区写入

  INSERT OVERWRITE external_delta_db.delta_test_tbl partition(age=17) values(3, 'anna');

• 方式四：INSERT OVERWRITE动态分区写入

  INSERT OVERWRITE external_delta_db.delta_test_tbl partition (age) values (1, 'bom', 10);

UPDATE

执行以下语句更新数据，本文以将id=1的name列更新为box为例。

UPDATE external_delta_db.delta_test_tbl set name = 'box' where id = 1;

DELETE

执行以下语句删除数据，本文以删除id列为1的数据为例。

DELETE FROM external_delta_db.delta_test_tbl where id = 1;

步骤四：查询数据

执行以下语句，查询Delta外表数据。

SELECT * FROM external_delta_db.delta_test_tbl;