MaxCompute加速

Hologres与MaxCompute数据源底层无缝打通,深度融合,可双向直读对方存储,大大提升数据访问效率。本文为您介绍使用Hologres加速读写MaxCompute数据的相关能力及使用限制。

背景信息

大数据计算服务(MaxCompute)是一种快速、完全托管的EB级数据仓库,致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。详情请参见什么是MaxCompute

Hologres是兼容PostgreSQL协议的实时交互式分析引擎,与MaxCompute存储原生对接,支持使用创建外部数据库、外部表的方式实现MaxCompute加速查询,无冗余存储,无需导入导出数据,即可快速获取查询结果,对外提供服务,采用标准PostgreSQL协议,无缝对接几乎所有主流BI工具。

相比其他非阿里云大数据生态产品,Hologres在加速MaxCompute数据、导入MaxCompute数据以及数据回写MaxCompute的速度性能方面表现更佳。

场景介绍

远程加速MaxCompute数据

Hologres在读取MaxCompute数据时采用直读盘古存储的方式,性能更优,使用上也更简单。您可通过CREATE EXTERNAL DATABASE的方式整库映射MaxCompute内部Project下的Schema和表,或者通过IMPORT FOREIGN SCHEMA方式批量创建外部表,同时对于仅需要加速查询少量MaxCompute表或者某张表中部分字段的场景,我们也提供了CREATE FOREIGN TABLE的方式,您可以根据业务特性和场景,选择合适的加速方式。

说明

从Hologres V3.0 版本开始,远程查询MaxCompute数据取消了一次查询扫描数据量不超过200GB、分区数不超过512个的限制,方便您更好地使用该服务。同时,放宽限制的大查询会消耗更多的Hologres实例资源,请您做好资源隔离,详情请参见计算组实例快速入门,或者对于偶发的大查询可以使用Serverless模式,详情请参见Serverless Computing

MaxCompute的数据导入Hologres后再进行查询

为了获取更好的查询性能,您也可以将数据导入Hologres,再进行查询。该方式可充分利用Hologres的索引能力进一步加速查询,同时支持的能力上也更加丰富,如支持复杂查询,支持UPDATE、INSERT、DELETE等操作。详情请参见MaxCompute数据导入Hologres

Hologres数据导出至MaxCompute

对于实时写入Hologres的数据或者在Hologres中进行聚合分析后想写回MaxCompute的场景,详情请参见导出至MaxCompute

功能详情

Hologres加速MaxCompute外部表支持的具体能力如下:

Hologres版本号

支持的能力

描述

V3.0.7

支持通过CREATE EXTERNAL DATABASE的方式完整映射MaxCompute Project下的Schema和表。

CREATE EXTERNAL DATABASE 用于在Hologres实例中创建一个外部数据库,来加载外部数据源的元数据到Hologres,方便在一个系统中同时管理内、外部数据,实现湖仓一体架构下统一的元数据管理。详情请参见CREATE EXTERNAL DATABASE

取消外部表查询一次查询扫描数据量不超过200GB、分区数不超过512个的限制。

V2.2.1

外部表自动加载支持MaxCompute Schema(三层模型)。

Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源及函数进行进一步归类。外部表自动加载详情请参见外部表自动加载(Auto Load)

外部表自动加载支持元数据自动刷新。

外部表自动加载支持MaxCompute外部表Schema Evolution。

在MaxCompute侧执行过删除列、修改列顺序、修改列类型等操作的表。详情请参见外部表自动加载(Auto Load)

支持通过SLR访问MaxCompute数据。

服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,旨在解决跨云服务的授权访问问题,详情请参见Hologres服务关联角色

V2.1

支持对MaxCompute三层模型指定Schema下的表进行数据写入。

Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源及函数进行进一步归类。详情请参见Schema

支持通过HoloWeb可视化访问MaxCompute三层模型指定Schema下的表。

详情请参见基于HoloWeb创建MaxCompute外部表

V2.0

升级MaxCompute加速引擎为HQE,改善兼容性与稳定性。

V1.3

支持通过外部表方式查询MaxCompute的Transactional表。

支持读取MaxCompute Schema Evolution状态表。

在MaxCompute侧执行过删除列、修改列顺序、修改列类型操作的表。

Hologres和MaxCompute之间交互支持双签名认证。

详情请参见创建Hologres外部表(双签名模式)

支持访问MaxCompute BYOK方式加密的表。

详情请参见查询MaxCompute加密数据(BYOK模式)

V1.1.43

支持外部表自动加载,实现MaxCompute外部表的按需自动加载以及全量自动加载。

详情请参见外部表自动加载(Auto Load)