湖存储

前提条件

集群内核版本需为3.2.3.0及以上版本。

操作步骤

1. 进入数据开发。

   1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，然后单击目标集群ID。

   2. 在左侧导航栏，单击作业开发 > SQL开发。

   3. 在SQLConsole窗口，选择Spark引擎和资源组（Job型资源组或Spark引擎的Interactive型资源组）。

2. 创建外库与Iceberg湖存储表。

   1. 创建数据库。

      CREATE DATABASE adb_external_db_iceberg 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      参数说明：

      参数	说明
      adb_lake_bucket	指定湖存储表数据的存储位置。 在数据库建表语句中指定湖存储后，数据库中的所有表将统一存储于该湖存储中。如果您不希望将数据库下的所有表都存储到湖存储中，可以在建表时再设置该参数。

   2. 创建Iceberg外表。

      SET spark.adb.lakehouse.enabled=true;                      ----开启湖存储  
      CREATE TABLE adb_external_db_iceberg.test_iceberg_tbl (
        `id` int,
        `name` string,
        `age` int
      ) USING iceberg
      PARTITIONED BY (age)
      TBLPROPERTIES ( 'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****' );

      参数说明：

      参数	说明
      adb_lake_bucket	指定湖存储表数据的存储位置。 若您已在创建数据库时指定湖存储，数据库中的所有表将统一存储于该湖存储中，在建表时您无需再次指定。 若您在创建数据库时未指定湖存储，此处必须显式指定，否则建表会报错。指定后，该表的数据会存储到该湖存储中。 若在创建数据库和创建表时均显式指定湖存储，则该表的数据会存储在建表时指定的湖存储中；而数据库下的其他表则会存储在建库语句指定的湖存储中。

3. 写入Iceberg数据。

   SET spark.adb.lakehouse.enabled=true;                      ----开启湖存储
   INSERT INTO adb_external_db_iceberg.test_iceberg_tbl VALUES (1, 'lisa', 10), (2, 'jams', 10);

4. （可选）删除Iceberg数据。

   SET spark.adb.lakehouse.enabled=true;                      ----开启湖存储
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE id = 1;
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE age = 20;

5. 查询Iceberg外表数据。

   SET spark.adb.lakehouse.enabled=true;                      ----开启湖存储
   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   返回结果如下：

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

6. （可选）删除Iceberg外表。

   执行如下语句会删除AnalyticDB for MySQL中的Iceberg外表和OSS中Iceberg外表的数据。

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;

前提条件

集群内核版本需为3.2.5.3及以上版本。

注意事项

不支持通过DELETE语句删除湖存储表中的单条数据，仅支持删除整张表。

操作步骤

1. 进入数据开发。

   1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，然后单击目标集群ID。

   2. 在左侧导航栏，单击作业开发 > SQL开发。

   3. 在SQLConsole窗口，选择XIHE引擎和Interactive型资源组。

2. 创建外库与Iceberg外表。

   1. 创建外库。

      CREATE EXTERNAL DATABASE test_db 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      参数说明：

      参数	说明
      adb_lake_bucket	指定湖存储表数据的存储位置。 在数据库建表语句中指定湖存储后，数据库中的所有表将统一存储于该湖存储中。如果您不希望将数据库下的所有表都存储到湖存储中，可以在建表时再设置该参数。

   2. 创建Iceberg外表。

      CREATE TABLE test_db.test_iceberg_tbl (
        `id` int,
        `name` string
      )PARTITIONED BY (age int) 
      STORED AS ICEBERG
      TBLPROPERTIES (
        'catalog_type' = 'ADB', 
        'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****'
      );

      参数说明：

      参数	说明
      catalog_type	指定catalog类型。固定填写为ADB。
      adb_lake_bucket	指定湖存储表数据的存储位置。 若您已在创建数据库时指定湖存储，数据库中的所有表将统一存储于该湖存储中，在建表时您无需再次指定。 若您在创建数据库时未指定湖存储，此处必须显式指定，否则建表会报错。指定后，该表的数据会存储到该湖存储中。 若在创建数据库和创建表时均显式指定湖存储，则该表的数据会存储在建表时指定的湖存储中；而数据库下的其他表则会存储在建库语句指定的湖存储中。

3. 写入Iceberg数据。

   INSERT INTO test_db1.test_iceberg_tbl select 1, 'anna', 10;
   INSERT INTO test_db1.test_iceberg_tbl select 2, 'jams', 20;

4. 查询Iceberg外表数据。

   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   返回结果如下：

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

5. （可选）删除Iceberg外表。

   执行如下语句会删除AnalyticDB for MySQL中的Iceberg外表和OSS中Iceberg外表的数据。

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;