在Flink中使用DLF Catalog

本文为您介绍在实时计算Flink版中如何配置DLF 2.0 Catalog,以及在Catalog下如何创建表与查询表数据,帮助您高效利用Flink进行大数据处理。

前提条件

  • 已创建Flink全托管工作空间,引擎版本须为VVR 8.0.9及以上。如未创建,详情请参见开通实时计算Flink版

  • 已创建DLF 2.0数据目录。如未创建,详情请参见创建数据目录

    说明

    如果是RAM用户,在进行数据操作之前,需要先授予相应的资源权限。详情请参见授权管理

步骤一:配置DLF 2.0数据目录

  1. 登录实时计算控制台

  2. 单击工作空间列表中的工作空间名称,进入对应的工作空间。

  3. 在左侧导航栏,单击元数据管理

  4. 在Catalog列表页,单击创建Catalog

  5. 在弹出的对话框中,选择Apache Paimon,单击下一步

  6. 在弹出的对话框中,metastore选择dlf,在catalog name模糊搜索或下拉选择标有v2.0的Catalog。本文以dlf_clg_test为例。

  7. 单击确定

步骤二:读写数据

创建数据表

  1. 在左侧菜单栏,选择数据开发 > 数据查询

  2. 单击新建,新建查询脚本。

  3. 执行以下SQL,创建数据表。

    说明

    不指定数据库时,创建数据表会默认建在Catalog下的default数据库中,也可创建并指定其他数据库。

    USE CATALOG dlf_clg_test;
    CREATE TABLE users_samples
    (
        user_id BIGINT,             
        age_level STRING,           
        final_gender_code STRING,    
        clk BOOLEAN                
    );

插入数据

运行以下SQL,插入数据。

USE CATALOG dlf_clg_test;
SET 'execution.checkpointing.max-concurrent-checkpoints' = '3';
SET 'table.exec.sink.upsert-materialize' = 'NONE';
SET 'execution.checkpointing.interval' = '60s';
SET 'execution.checkpointing.min-pause' = '30s';
SET 'table.exec.sink.not-null-enforcer'='DROP';

INSERT INTO users_samples (user_id, age_level, final_gender_code, clk) VALUES
(1, '25-34', 'M', true),
(2, '18-24', 'F', false),
(3, '35-44', 'M', true);

查询数据

运行以下SQL,查询数据。

select * from dlf_clg_test.`default`.users_samples;

步骤三:在DLF中查看元数据

当您运行成功之后,您可在数据湖构建控制台看到新增的库、表元数据信息。其中,dlf_clg_test是本例中的示例Catalog名称。

image