Airflow工作流

使用场景

• 编排DMS中的数据开发任务，如执行SQL脚本、数据清洗等。

• 调度AnalyticDB for MySQL版Spark执行批处理任务。

• 调度DTS的数据集成任务。

注意事项

目前仅华东1（杭州）、华北2（北京）、华东2（上海）和华南1（深圳）支持此功能。

方案概览

1. 准备Airflow所需资源。

   准备RDS PostgreSQL、Redis和OSS资源，并为Airflow开通公网访问权限。

2. 创建Airflow实例。

3. 创建git关联账号。

   创建git账号，即创建一个专用账号。该账号用于在代码仓库中进行操作，且这些操作不会被同一工作空间的用户（包括阿里云主账号或RAM子账号）查看。

4. 创建代码仓库。

   在Git或其他版本控制系统中创建代码仓库，用于存储和管理Airflow的DAG文件。

5. 进行代码开发。

   在代码仓库中编辑对应代码、进行代码发布等操作。

6. 查看Airflow的执行情况。

   在Airflow空间查看DAG调度以及监控工作流批处理的情况。