Flink SQL以Iceberg REST访问DLF Catalog

本文为您介绍如何在阿里云实时计算Flink版上实现Flink SQL 以Iceberg RESTDLF Catalog对接。

前提条件

使用限制

仅实时计算引擎VVR 11.2.0及以上版本支持以 Iceberg REST 对接 DLF Catalog。

创建Catalog

说明
  • 这里仅用于建立与DLF Catalog的映射连接,创建或删除Catalog仅影响映射关系,不会对DLF中的实际数据产生影响

  • 通过Iceberg REST 在DLF Catalog创建的表均为Iceberg

  1. 登录实时计算控制台

  2. 单击目标工作空间操作列下的控制台,进入对应的工作空间。

  3. 在左侧导航栏,单击数据开发 > 数据查询

  4. 数据查询文本编辑区域,输入以下SQL,单击页面右下角的执行环境,选择对应版本的Session集群(VVR 11.2.0及以上引擎版本),执行SQL,即可以Iceberg REST创建DLF Catalog。

    CREATE CATALOG `catalog_name` 
     WITH (
        'type' = 'iceberg',
        'catalog-type' = 'rest',
        'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg',
        'warehouse' = 'iceberg_test',
        'rest.signing-region' = 'cn-hangzhou',
        'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
    );

    参数说明如下:

    参数

    描述

    是否必填

    示例

    type

    类型,固定为iceberg。从自定义Jar自动解析,请勿更改。

    iceberg

    catalog-type

    Catalog类型,固定为rest。

    rest

    token.provider

    Token提供方,固定为dlf。

    dlf

    uri

    访问DLF Rest CatalogURI,详见Iceberg REST

    http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg

    warehouse

    DLF Catalog名称。

    iceberg_test

    rest.signing-region

    DLFRegion ID,详见服务接入点

    cn-hangzhou

    io-impl

    固定值:org.apache.iceberg.rest.DlfFileIO

    org.apache.iceberg.rest.DlfFileIO

Iceberg查询

数据查询文本编辑区域,运行以下SQL,可查询Iceberg Catalog下的库表信息。

SELECT * FROM catalog_name.database_name.table_name;