Airflow环境搭建与管理

前提条件

已按照准备工作中的步骤准备好实例资源。

费用说明

Airflow实例的费用与该实例的工作流规格（使用的CU数）相关，单价请以配置资源时的页面提示为准。

步骤一：创建Airflow实例

1. 登录数据管理DMS 5.0。

2. 进入工作空间页面。

   DMS提供了两种进入工作空间的路径，您可根据需求选择。

   路径一

   单击控制台左上角的图标，选择全部功能 > Data+AI > 工作空间。

   说明

   若您使用的是非极简模式的控制台，请在顶部菜单栏中，选择Data+AI > 工作空间。

   路径二

   重要

   此方式正在灰度内测中，仅部分用户支持。

   单击页面左侧的数智工厂图标，再单击工作空间。

   说明

   若您使用的是非极简模式的控制台，请在顶部菜单栏中，选择数智工厂 > 工作空间。

3. 单击目标工作空间名称或新建工作空间，进入工作空间。

4. 在工作空间左侧选择 > Airflow实例，再单击创建实例。

5. 配置实例信息。

   部分重要参数说明如下：

   配置项	说明
   工作流规格	请根据工作流规模和复杂程度合理选择规格。更多信息，请参见Airflow规格信息。
   Worker节点扩展	Airflow会根据任务负载情况自动调整使用节点数。Worker节点最小为1，最大为10。
   VPC ID	无需调整，默认与工作空间的VPC一致。
   交换机	选择目标交换机。
   安全组	选择控制工作流的安全组。
   OSS Bucket	选择与工作空间所在地域相同的OSS Bucket。
   OSS路径	填入在准备工作中创建的存储数据的路径。

6. 单击确定。

   当实例状态为运行中，表示资源已部署完成。

步骤二：新增关联账号

1. 在工作空间右上角单击账号头像，单击图标，新建关联账号。

   该图标为下拉面板中关联账号右侧的+按钮。

2. 在新建服务商账号对话框中，选择账号类型。

   DMS目前支持三种账号类型：GitHub、云效代码管理Codeup、私有化部署Gitlab。

3. 选择新建方式并填入用户名、密码或访问令牌。

   新建方式（即导入账号到工作空间的方式）支持用户名密码或用户令牌两种。

   本操作以关联云效代码管理Code类型的账号举例，您可前往云效工作台查看用户名、密码和个人访问令牌。

4. 单击确定。

步骤三：创建代码仓库

1. 在工作空间页面左侧导航栏中，单击图标，进入资源管理器页面。

2. 在CODE（代码仓库）区域单击图标，并选择添加已有 git 代码仓库以创建代码仓库。

3. 填写项目名称、选择对应的Git服务商和Git仓库地址后，单击确定。

   如果您使用阿里云服务，建议Git服务商选择CodeUp，后续DMS会默认选择CodeUp类型的关联账号。

   当仓库列表出现创建的仓库名称，表示创建成功。

步骤四：进行代码开发

1. 单击目标代码仓库名称右侧的master，您可选择切换分支、新建分支、编辑或保存代码。

   说明

   保存操作相当于执行gitpush命令。

2. 确认环境。

   将鼠标悬浮在仓库名称上方，单击图标，然后确认环境及参数配置。

3. 将鼠标悬浮在仓库名称上方，单击按钮。

4. 在弹出的对话框，单击确定以部署代码。

   该对话框提示部署最长需要 10 分钟，且当前分支下未提交的内容将自动提交推送。

步骤五：在Airflow空间查看已发布任务

1. 在工作空间页面的左侧导航栏单击图标。

2. 单击目标仓库下的AirFlow实例，查看已发布的任务。

   您可单击DAG名称，查看执行结果。

   Airflow DAGs 页面显示已发布的 DAG（如 hello_world_dag2），列表包含 Owner、运行次数（成功与失败）、调度频率（如 @daily）、上次运行时间及下次运行时间等信息。

附录：Airflow规格信息