DMS Airflow
Airflow是一款面向大数据开发场景的开源工作流编排和调度工具，支持作业开发、DAG（有向无环图）调度和监控工作流批处理。Airflow允许通过Python代码定义工作流。借助其Python插件，用户可以灵活地将Airflow与大多数外部技术或系统集成。
目前Airflow功能处于处于公测阶段，公测期间免费使用。
使用场景
编排DMS中的数据开发任务，如执行SQL脚本、数据清洗等。
调度AnalyticDB for MySQL版Spark执行批处理任务。
调度DTS的数据集成任务。
支持的地域和可用区
地域 | 可用区 | ||
名称 | ID | 名称 | ID |
华东1（杭州） | cn-hangzhou | 可用区B | cn-hangzhou-b |
可用区E | cn-hangzhou-e | ||
可用区F | cn-hangzhou-f | ||
可用区G | cn-hangzhou-g | ||
可用区H（推荐） | cn-hangzhou-h | ||
可用区I（推荐） | cn-hangzhou-i | ||
可用区J（推荐） | cn-hangzhou-j | ||
可用区K | cn-hangzhou-k | ||
华东2（上海） | cn-shanghai | 可用区A | cn-shanghai-a |
可用区B | cn-shanghai-b | ||
可用区C | cn-shanghai-c | ||
可用区D | cn-shanghai-d | ||
可用区E | cn-shanghai-e | ||
可用区F | cn-shanghai-f | ||
可用区G | cn-shanghai-g | ||
可用区K | cn-shanghai-k | ||
可用区L（推荐） | cn-shanghai-l | ||
可用区M（推荐） | cn-shanghai-m | ||
可用区N（推荐） | cn-shanghai-n | ||
华北2（北京） | cn-beijing | 可用区C | cn-beijing-c |
可用区D | cn-beijing-d | ||
可用区E | cn-beijing-e | ||
可用区F | cn-beijing-f | ||
可用区G | cn-beijing-g | ||
可用区H（推荐） | cn-beijing-h | ||
可用区I（推荐） | cn-beijing-i | ||
可用区J（推荐） | cn-beijing-j | ||
可用区K | cn-beijing-k | ||
可用区L | cn-beijing-l | ||
华南1（深圳） | cn-shenzhen | 可用区A | cn-shenzhen-a |
可用区B | cn-shenzhen-b | ||
可用区C | cn-shenzhen-c | ||
可用区D（推荐） | cn-shenzhen-d | ||
可用区E（推荐） | cn-shenzhen-e | ||
可用区F（推荐） | cn-shenzhen-f | ||
新加坡 | ap-southeast-1 | 可用区A | ap-southeast-1a |
可用区B | ap-southeast-1b | ||
可用区C | ap-southeast-1c | ||
印度尼西亚（雅加达） | ap-southeast-5 | 可用区A | ap-southeast-5a |
可用区B | ap-southeast-5b | ||
可用区C | ap-southeast-5c | ||
方案概览
准备OSS资源，并为Airflow开通公网访问权限。
创建git账号，即创建一个专用账号。该账号用于在代码仓库中进行操作，且这些操作不会被同一工作空间的用户（包括阿里云主账号或RAM子账号）查看。
在Git或其他版本控制系统中创建代码仓库，用于存储和管理Airflow的DAG文件。
在代码仓库中编辑对应代码、进行代码发布等操作。
在Airflow空间查看DAG调度以及监控工作流批处理的情况。