什么是云原生数据仓库AnalyticDB MySQL版

更新时间:

云原生数据仓库 AnalyticDB MySQL 版(以下简称AnalyticDB for MySQL)是全托管的PB级实时数仓,支持毫秒级数据更新和亚秒级查询响应,高度兼容MySQL协议。

AnalyticDB for MySQL基于湖仓一体架构,无论是数据湖中的非结构化或半结构化数据,还是数据仓库中的结构化数据,都能统一高效地处理,帮助企业构建全面的数据分析平台。它不仅支持大规模离线数据处理以满足深度洞察需求,同时也提供高性能在线分析能力,帮助企业快速响应业务变化,实现降本增效。

AnalyticDB for MySQL企业版,融合了以往多个产品系列的优点。预留节点采用存算一体架构,保证常规业务的查询性能。同时为了应对业务负载有周期性变化或突变的情况,可以弹性增加或减少计算资源。详细架构说明,请参见整体架构

前置概念

阅读本文前,您可能需要了解如下概念:

AnalyticDB for MySQL可以帮您完成哪些工作

构建企业级湖仓

AnalyticDB for MySQL包括多个产品系列。湖仓版、企业版均为湖仓一体架构,简化了数据架构,减少了系统复杂性和维护成本。所有数据存储在统一的平台上,确保数据一致性。您可以基于一份数据进行离线分析和实时查询。

ETL和数据工程

AnalyticDB for MySQL通过充分利用本地内存、本地SSD和远程全局分布式缓存,提供高性能的湖仓数据加速能力,支持从百毫秒级的在线分析到百TB级的高吞吐ETL场景。它集成了羲和计算引擎和Spark引擎,支持从RDSPolarDB无感集成数据,并兼容多种ETL工具如KettleScriptella。此外,还支持多种调度工具(包括DMS、DataWorks、Airflow、DolphinSchedulerAzkaban)以及物化视图,从而简化ETL流程并提高查询性能。

数据分析与商业智能(BI)

AnalyticDB for MySQL高度兼容 MySQL,提供 SQL 编辑器,并支持多种客户端工具,如 DMS、Navicat、DBeaver 和 SQL WorkBench/J。这使得 MySQL 用户可以快速上手进行查询和分析。AnalyticDB for MySQL内置了丰富的分析函数,包括圈人函数(Roaring Bitmap)、漏斗留存函数、路径分析函数等,这些函数能够帮助用户高效完成复杂的业务分析任务。此外,该数据仓库还兼容主流的商业智能(BI)产品,包括QuickBI、PowerBI、Superset、Metabase、Tableau等,使用户能够快速生成报表和仪表板,从而更快地做出基于数据的业务决策。

AnalyticDB for MySQL集成了 Spark 引擎,进一步增强了其大数据处理能力。用户可以通过控制台上的 Spark 编辑器提交和管理 Spark 作业,也可以使用 Notebook、Spark-Submit 命令行工具、PySpark、Java SDK 或 Python SDK 来执行批处理作业或流处理作业。这种集成不仅提供了灵活的数据处理方式,还确保了在大规模数据集上的高性能和高可用性,满足各种复杂的数据分析需求。

实时数据分析

AnalyticDB for MySQL支持从Kafka和日志服务(SLS)实时同步数据,同时也提供了无感集成功能,可以近实时地获取RDSPolarDB的数据变更,免去了构建复杂数据管道的挑战。这一特性不仅简化了数据集成的流程,还确保了数据的时效性和一致性。此外,AnalyticDB for MySQL集成了Spark Streaming,能够高效处理流式数据和增量数据,从而满足实时数据分析的需求,为用户提供及时、准确的数据洞察。

用户角色与资源

我们为不同的用户角色准备了不同的文档教程。您可以参考下列文档完成任务。

数据库管理员

数据开发工程师

数据分析师

算法工程师