本文介绍云数据库 SelectDB 版与阿里云MaxCompute数据源进行对接使用的流程,帮助您对阿里云MaxCompute数据源进行联邦分析。
概述
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。SelectDB可以连接并访问阿里云MaxCompute数据源并进行联邦分析。
连接MaxCompute
云数据库 SelectDB 版默认使用VPC访问阿里云MaxCompute数据源,请确保云数据库 SelectDB 版和阿里云MaxCompute数据源在同一VPC下,如果不在同一VPC下请开启配置mc.public_access=true
。
创建MaxCompute Catalog
CREATE CATALOG mc PROPERTIES (
"type" = "max_compute",
"mc.region" = "cn-beijing",
"mc.default.project" = "your-project",
"mc.access_key" = "ak",
"mc.secret_key" = "sk",
"mc.endpoint" = "https://service.cn-beijing-vpc.maxcompute.aliyun-inc.com/api"
);
其中type固定为max_compute
,其他参数说明如下:
参数 | 描述 |
mc.region | MaxCompute开通的地域。可以从Endpoint中找到对应的Region,参阅Endpoint。 |
mc.default.project | MaxCompute项目。创建MaxCompte项目详情请参考创建MaxCompute项目。 |
mc.access_key | AccessKey。创建AccessKey详情请参见创建AccessKey。 |
mc.secret_key | AccessKey Secret。创建AccessKey Secret详情请参见创建AccessKey。 |
mc.public_access | 配置 说明 公网访问存在一定风险,不建议在生产环境中使用公网访问。如需使用公网访问,请参见使用公网 NAT 网关实现公网访问。 |
mc.endpoint | MaxCompute开通的地域Endpoint。获取方式请参见Endpoint。 说明 云数据库 SelectDB 版4.0及以上版本需要配置该参数。 |
限额
连接MaxCompute时,按量付费的Quota查询并发和使用量有限。如需增加资源,详情请参见计算资源-Quota管理。
列类型映射
连接MaxCompute后,SelectDB进行的列类型映射和Hive Catalog一致,详情请参见参阅Hive数据源。