本文为您介绍如何在阿里云实时计算Flink版上实现Flink SQL 以Iceberg REST与DLF Catalog对接。
前提条件
已创建Flink全托管工作空间。如未创建,详情请参见开通实时计算Flink版。
已创建VVR 11.2.0及以上引擎版本的Session集群。如未创建,请参见步骤一:创建Session集群。
使用限制
仅实时计算引擎VVR 11.2.0及以上版本支持以 Iceberg REST 对接 DLF Catalog。
创建Catalog
这里仅用于建立与DLF Catalog的映射连接,创建或删除Catalog仅影响映射关系,不会对DLF中的实际数据产生影响。
通过Iceberg REST 在DLF Catalog创建的表均为Iceberg表。
登录实时计算控制台。
单击目标工作空间操作列下的控制台,进入对应的工作空间。
在左侧导航栏,单击。
在数据查询文本编辑区域,输入以下SQL,单击页面右下角的执行环境,选择对应版本的Session集群(VVR 11.2.0及以上引擎版本),执行SQL,即可以Iceberg REST创建DLF Catalog。
CREATE CATALOG `catalog_name` WITH ( 'type' = 'iceberg', 'catalog-type' = 'rest', 'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg', 'warehouse' = 'iceberg_test', 'rest.signing-region' = 'cn-hangzhou', 'io-impl' = 'org.apache.iceberg.rest.DlfFileIO' );参数说明如下:
参数
描述
是否必填
示例
type
类型,固定为iceberg。从自定义Jar自动解析,请勿更改。
是
iceberg
catalog-type
Catalog类型,固定为rest。
是
rest
token.provider
Token提供方,固定为dlf。
是
dlf
uri
访问DLF Rest Catalog的URI,详见Iceberg REST。
是
http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg
warehouse
DLF Catalog名称。
是
iceberg_test
rest.signing-region
DLF的Region ID,详见服务接入点。
是
cn-hangzhou
io-impl
固定值:org.apache.iceberg.rest.DlfFileIO
是
org.apache.iceberg.rest.DlfFileIO
Iceberg查询
在数据查询文本编辑区域,运行以下SQL,可查询Iceberg Catalog下的库表信息。
SELECT * FROM catalog_name.database_name.table_name;