作业开发入门概述

云原生数据仓库 AnalyticDB MySQL 版提供Spark引擎和XIHE引擎,您可以选择不同的引擎进行不同方式的作业开发。本文介绍通过XIHE SQL(包含MPP和BSP模式)和Spark SQL方式进行内表作业开发的流程。

作业开发流程概述

AnalyticDB for MySQL数仓分层包含以下三层。

  • ODS:数据运营层,对源数据进行ETL处理。在实际业务中,ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程,本教程中将向ODS层写入测试数据。

  • DWD:数据明细层,对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。

  • ADS:数据应用层,面向业务进行数据分析、生产报表等使用的数据。

您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时,需要选择对应的引擎和资源组。详情请参见SQL开发编辑器