在Flink中使用DLF Catalog_数据湖构建(DLF)-阿里云帮助中心

本文为您介绍在实时计算Flink版中如何配置DLF 2.0 Catalog，以及在Catalog下如何创建表与查询表数据，帮助您高效利用Flink进行大数据处理。

前提条件

已创建Flink全托管工作空间，引擎版本须为VVR 8.0.9及以上。如未创建，详情请参见开通实时计算Flink版。
已创建DLF 2.0数据目录。如未创建，详情请参见创建数据目录。
说明
如果是RAM用户，在进行数据操作之前，需要先授予相应的资源权限。详情请参见授权管理。

步骤一：配置DLF 2.0数据目录

登录实时计算控制台。
单击工作空间列表中的工作空间名称，进入对应的工作空间。
在左侧导航栏，单击元数据管理。
在Catalog列表页，单击创建Catalog。
在弹出的对话框中，选择Apache Paimon，单击下一步。
在弹出的对话框中，metastore选择dlf，在catalog name模糊搜索或下拉选择标有v2.0的Catalog。本文以dlf_clg_test为例。
单击确定。

步骤二：读写数据

创建数据表

在左侧菜单栏，选择数据开发 > 数据查询。
单击新建，新建查询脚本。

执行以下SQL，创建数据表。

说明

不指定数据库时，创建数据表会默认建在Catalog下的default数据库中，也可创建并指定其他数据库。

USE CATALOG dlf_clg_test;
CREATE TABLE users_samples
(
    user_id BIGINT,             
    age_level STRING,           
    final_gender_code STRING,    
    clk BOOLEAN                
);

插入数据

运行以下SQL，插入数据。

USE CATALOG dlf_clg_test;
SET 'execution.checkpointing.max-concurrent-checkpoints' = '3';
SET 'table.exec.sink.upsert-materialize' = 'NONE';
SET 'execution.checkpointing.interval' = '60s';
SET 'execution.checkpointing.min-pause' = '30s';
SET 'table.exec.sink.not-null-enforcer'='DROP';

INSERT INTO users_samples (user_id, age_level, final_gender_code, clk) VALUES
(1, '25-34', 'M', true),
(2, '18-24', 'F', false),
(3, '35-44', 'M', true);

查询数据

运行以下SQL，查询数据。

select * from dlf_clg_test.`default`.users_samples;

步骤三：在DLF中查看元数据

当您运行成功之后，您可在数据湖构建控制台看到新增的库、表元数据信息。其中，dlf_clg_test是本例中的示例Catalog名称。