通过Spark SQL读写Hudi外表

前提条件

• 已创建湖仓版（3.0）集群且存储预留资源需大于0 ACU。详情请参见创建湖仓版集群。
• 已创建Job型资源组。详情请参见湖仓版（3.0）新建资源组。
• 已创建数据库普通账号，并将RAM用户（子账号）绑定到AnalyticDB MySQL的数据库普通账号上。具体操作，请参见创建和授权普通账号和绑定或解绑RAM用户与数据库账号。

步骤一：进入数据开发

1. 登录云原生数据仓库AnalyticDB MySQL控制台。
2. 在页面左上角，选择集群所在地域。
3. 在左侧导航栏，单击集群列表。
4. 在湖仓版（3.0）页签下，单击目标集群ID。
5. 在左侧导航栏，单击作业开发 > SQL开发。
6. 在SQLConsole窗口，选择Job型资源组和Spark引擎。

步骤二：创建外库与Hudi外表

1. 执行以下语句，创建数据库。如果已有数据库，可跳过本步骤。

   CREATE DATABASE adb_external_db_hudi
   location 'oss://<bucket_name>/test/';    /*用于在该路径中创建表，请替换为自己的OSS路径。*/

2. 执行以下语句，创建Hudi外表。

   CREATE TABLE adb_external_db_hudi.test_hudi_tbl (
    `id` int,
    `name` string,
    `age` int
   ) using hudi 
   tblproperties
    (primaryKey = 'id', 
     preCombineField = 'age') 
     partitioned by (age) 
   location 'oss://<bucket_name>/test/table/';  /*写入的数据会存储在该路径中，请替换为自己的OSS路径。*/

   重要

   • OSS路径中的Bucket需与创建数据库所选的Bucket相同。
   • 创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。
   • 建表时必须定义primaryKey主键。preCombineField预聚合字段为可选，如未定义preCombineField在UPDATE场景会报错。

步骤三：写入Hudi外表数据

INSERT

UPDATE

UPDATE adb_external_db_hudi.test_hudi_tbl SET name = 'box' where id = 2;

DELETE

DELETE FROM adb_external_db_hudi.test_hudi_tbl where id = 1;

步骤四：查询数据

SELECT * FROM adb_external_db_hudi.test_hudi_tbl;