本文介绍云数据库 SelectDB 版与阿里云MaxCompute数据源进行对接使用的流程,帮助您对阿里云MaxCompute数据源进行联邦分析。
概述
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。SelectDB可以连接并访问阿里云MaxCompute数据源并进行联邦分析。
前提条件
MaxCompute已开启开放存储(Storage API)功能。具体操作及支持的地域,请参见租户属性。
操作步骤
连接SelectDB实例。具体操作,请参见连接实例。
创建MaxCompute的Catalog。SQL示例如下,请将以下参数替换为实际值。
CREATE CATALOG mc PROPERTIES ( "type" = "max_compute", "mc.region" = "cn-beijing", "mc.default.project" = "yourProject", "mc.access_key" = "yourAccessKeyID", "mc.secret_key" = "yourAccessKeySecret", "mc.endpoint" = "https://service.cn-beijing-vpc.maxcompute.aliyun-inc.com/api" );
参数
描述
type
固定为“max_compute”。
mc.region
MaxCompute项目所在地域。
mc.default.project
MaxCompute项目名。
mc.access_key
AccessKey ID。具体操作,请参见创建AccessKey。
mc.secret_key
AccessKey Secret。
mc.public_access
当
mc.endpoint
配置为公网Endpoint时,需要配置"mc.public_access"="true"
。mc.endpoint
MaxCompute项目所在地域的Endpoint。
(推荐)VPC Endpoint:请确保云数据库 SelectDB 版实例与MaxCompute项目位于同一地域。
公网Endpoint:公网访问存在一定安全风险,且带宽资源有限,不建议在生产环境中使用。如需使用公网访问,请参见使用公网NAT网关实现公网访问。
说明云数据库 SelectDB 版4.0及以上版本需要配置该参数。
说明连接MaxCompute时,按量付费的Quota查询并发和使用量有限。如需增加资源,请参见计算资源-Quota管理。
列类型映射
连接MaxCompute后,SelectDB进行的列类型映射和Hive Catalog一致,详情请参见Hive数据源。