AnalyticDB MySQL湖仓版(3.0)提供Spark引擎和AnalyticDB MySQLXIHE引擎,您可以选择不同的引擎进行不同方式的作业开发。本文介绍通过XIHE SQL(包含MPP和BSP模式)和Spark SQL方式进行AnalyticDB MySQL内表作业开发的流程。

作业开发流程概述

AnalyticDB MySQL数仓分层包含以下三层。
  • ODS:数据运营层,对源数据进行ETL处理。在实际业务中,ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程,本教程中将向ODS层写入测试数据。
  • DWD:数据明细层,对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。
  • ADS:数据应用层,面向业务进行数据分析、生产报表等使用的数据。
Spark SQL和XIHE BSP SQL两种作业开发方式间可以实现数据互通,在SQL语法上有一些区别。您可以选择任意一种方式进行作业开发。选择不同方式进行作业开发时,需要选择对应的引擎和资源组。详情请参见功能说明