作业开发(内表)
云原生数据仓库 AnalyticDB MySQL 版提供Spark引擎和XIHE引擎,您可以选择不同的引擎进行不同方式的作业开发。本文介绍通过XIHE SQL(包含MPP和BSP模式)和Spark SQL方式进行内表作业开发的流程。
作业开发流程概述
AnalyticDB for MySQL数仓分层包含以下三层。
ODS:数据运营层,对源数据进行ETL处理。在实际业务中,ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程,本教程中将向ODS层写入测试数据。
DWD:数据明细层,对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。
ADS:数据应用层,面向业务进行数据分析、生产报表等使用的数据。
您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时,需要选择对应的引擎和资源组。详情请参见SQL开发编辑器。
Spark SQL作业开发流程如下。具体操作,请参见使用Spark SQL进行作业开发。
XIHE BSP SQL作业开发流程如下。具体操作,请参见使用XIHE BSP SQL进行作业开发。