本文介绍云数据库 SelectDB 版与阿里云DLF数据源进行对接使用的流程,帮助您对阿里云DLF数据源进行联邦分析。
概述
阿里云Data Lake Formation(DLF)是阿里云上的统一元数据管理服务,兼容Hive Metastore协议。SelectDB 可以像访问 Hive Metastore 一样,连接并访问 DLF。
连接DLF
创建基础的DLF Catalog
CREATE CATALOG dlf PROPERTIES (
"type"="hms",
"hive.metastore.type" = "dlf",
"dlf.proxy.mode" = "DLF_ONLY",
"dlf.endpoint" = "dlf-vpc.cn-beijing.aliyuncs.com",
"dlf.region" = "cn-beijing",
"dlf.uid" = "uid",
"dlf.access_key" = "ak",
"dlf.secret_key" = "sk"
);
其中参数"type"="hms"、 "hive.metastore.type" = "dlf",和 "dlf.proxy.mode" = "DLF_ONLY",为固定值无需改动。
其他关键参数说明如下。
|
参数 |
参数说明 |
|
dlf.endpoint |
DLF Endpoint,详情请参见已开通的地域和访问域名。 |
|
dlf.region |
DLF Region,详情请参见已开通的地域和访问域名。 |
|
dlf.uid |
阿里云账号。即阿里云控制台右上角个人信息的账号ID。 |
|
dlf.access_key |
AccessKey。详情请参见创建AccessKey。 |
|
dlf.secret_key |
SecretKey。详情请参见创建AccessKey。 |
|
"dlf.access.public"="true" |
是否开启公网访问阿里云对象存储的数据。 |
配置完成后即可像Hive MetaStore一样,访问DLF下的元数据。
重要
请确保创建Catalog的阿里云账号拥有DLF访问权限,详情请参见DLF权限说明。
列类型映射
连接DLF后SelectDB进行的列类型映射和Hive Catalog一致,详情请参见Hive数据源。
该文章对您有帮助吗?