低成本、高性能的湖仓一体化架构

更新时间:
复制 MD 格式

低成本、高性能的湖仓一体化架构

湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。SelectDB 通过高性能数据分析处理引擎和丰富的湖仓数据对接能力,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。

适用客户

需对湖上数据进行高效实时分析的用户

需对多种数据源进行SQL联邦分析的用户

需对多种数据源进行数据关联加工处理的用户

方案优势

通过 SelectDB 灵活对接各类数据湖、数据仓库、数据库,并进行高性能实时分析处理

深度湖仓融合

SelectDB 深度融合 Iceberg、Paimon 等开放湖仓格式,结合向量化执行引擎、物化视图和现代化的查询优化器,能够获得极佳的湖仓数据分析体验。

丰富的数据源连接器

SelectDB 不仅支持 MySQL、PostgreSQL、Oracle、Clickhouse 等多种 JDBC 协议的数据库和湖仓系统,实现快捷的多数据源联邦分析,同时还具有 ZeroETL 能力。

统一的多负载管理

基于无状态的计算节点,SelectDB 可以按需创建不同的计算组资源,在共享湖仓数据的同时,隔离计算资源,按需应对不同的业务负载需求。

阿里云 SelectDB 方案对比 Trino/Presto 方案

Trino/Presto

SelectDB

功能单一,依赖外部组件

仅支持手动和全量的物化视图刷新,并且依赖开放湖格式提供存储能力。

物化视图

增量更新和透明加速

高效支持各个数据源的物化视图构建,以及物化视图的增量更新和查询透明加速能力,极大提升查询效率。

复杂查询优化效果差

基于代价和规则的查询优化器,支持复杂SQL优化,但不支持统计信息的自动收集。

查询优化器

复杂查询精准优化

基于代价和规则的查询优化器。拥有丰富的统计信息自动收集和采样能力,能够获得更精准的查询规划。

依靠第三方组件

依赖外部组件如 Alluxio 提供缓存能力。

缓存能力

开箱即用

内置基于内存和本地高速磁盘的数据缓存能力,并拥有丰富的缓存预热与淘汰策略。

适用场景单一

仅作为查询引擎。

应用场景

适用场景丰富

云原生数据仓库,内置高性能表格存储,既可支持低延迟的高并发查询,又可作为湖仓查询引擎进行交互式查询分析。

架构与部署

湖仓分析加速、湖仓数据处理和多源联邦分析三个典型场景基于 SelectDB 湖仓一体的最佳实践

2872874

本方案通过 SelectDB 在 OSS(对象存储)上构建 Iceberg 湖格式的 TPC-H 100G 测试数据集,来验证 SelectDB 对于开放湖格式 Iceberg 的数据写入能力和分析加速能力。同时,通过 DTS(数据传输服务)将云数据库 RDS MySQL 版实例中的业务数据实时同步到 SelectDB 中,并利用 SelectDB 的异步物化视图和透明改写的功能,进行 SelectDB 内表、MySQL 表、Iceberg 表的联邦分析查询和多数据源的轻量级 ETL。通过湖仓分析加速、湖仓数据处理和多源联邦分析三个典型场景,实现了基于 SelectDB 湖仓一体的最佳实践。

60分钟

15 元(假设您选择本文示例规格资源,且资源运行时间不超过 60 分钟。实际情况中可能会因您操作过程中实际使用的流量差异,会导致费用有所变化,请以控制台显示的实际报价以及最终账单为准)

SelectDB 湖仓一体@4x

云数据库 SelectDB 版云数据库 RDS MySQL 版数据传输服务对象存储

应用场景

技术方案的广泛应用场景

湖仓查询加速@4x

湖仓查询加速

通过 SelectDB 直接访问存储在 OSS、HDFS上的 Iceberg、Paimon 格式的数据。并利用数据本地缓存、物化视图透明改写等技术,显著提升湖上数据分析性能。

多源联邦分析@4x

多源联邦分析

利用 SelectDB 内置的多种连接器,将 Hive、Iceberg、Paimon、RDS 以及 SelectDB 内表数据关联查询,彻底解决数据孤岛问题,提升数据分析时效性,降低数据在不同系统间传输转换的成本。

湖仓数据处理@4x

湖仓数据处理

通过 SelectDB 的高性能数据湖处理引擎对各类数据源数据进行加工处理,并且可以将加工后的数据直接写回 Hive、Iceberg 或 RDS 等,让数据在不同数据源间自由流转。

免费试用

阿里云为您提供云产品免费试用

951269

10000010669

942060

更多推荐

推荐解决方案