Airflow环境搭建与管理

前提条件

已按照准备工作中的步骤准备好实例资源。

费用说明

Airflow实例的费用与该实例的工作流规格（使用的CU数）相关，单价请以配置资源时的页面提示为准。

步骤一：创建Airflow实例

1. 登录数据管理DMS 5.0。

2. 进入工作空间页面。

   DMS提供了两种进入工作空间的路径，您可根据需求选择。

   路径一

   单击控制台左上角的图标，选择全部功能 > Data+AI > 工作空间。

   说明

   若您使用的是非极简模式的控制台，请在顶部菜单栏中，选择Data+AI > 工作空间。

   

   路径二

   重要

   此方式正在灰度内测中，仅部分用户支持。

   单击页面左侧的数智工厂图标，再单击工作空间。

   说明

   若您使用的是非极简模式的控制台，请在顶部菜单栏中，选择数智工厂 > 工作空间。

   

3. 单击目标工作空间名称或新建工作空间，进入工作空间。

4. 在工作空间左侧选择 > Airflow实例，再单击创建实例。

5. 配置实例信息。

   部分重要参数说明如下：

   配置项	说明
   工作流规格	请根据工作流规模和复杂程度合理选择规格。更多信息，请参见Airflow规格信息。
   Worker节点扩展	Airflow会根据任务负载情况自动调整使用节点数。Worker节点最小为1，最大为10。
   VPC ID	无需调整，默认与工作空间的VPC一致。
   交换机	选择目标交换机。
   安全组	选择控制工作流的安全组。
   OSS Bucket	选择与工作空间所在地域相同的OSS Bucket。
   OSS路径	填入在准备工作中创建的存储数据的路径。

6. 单击确定。

   当实例状态为运行中，表示资源已部署完成。

   

步骤二：新增关联账号

1. 在工作空间右上角单击账号头像，单击图标，新建关联账号。

   

2. 在新建服务商账号对话框中，选择账号类型。

   DMS目前支持三种账号类型：GitHub、云效代码管理Codeup、私有化部署Gitlab。

   

3. 选择新建方式并填入用户名、密码或访问令牌。

   新建方式（即导入账号到工作空间的方式）支持用户名密码或用户令牌两种。

   本操作以关联云效代码管理Code类型的账号举例，您可前往云效工作台查看用户名、密码和个人访问令牌。

4. 单击确定。

步骤三：创建代码仓库

1. 在工作空间页面左侧导航栏中，单击图标，进入资源管理器页面。

2. 在CODE（代码仓库）区域单击图标，并选择添加已有 git 代码仓库以创建代码仓库。

   

3. 填写项目名称、选择对应的Git服务商和Git仓库地址后，单击确定。

   如果您使用阿里云服务，建议Git服务商选择CodeUp，后续DMS会默认选择CodeUp类型的关联账号。

   

   当仓库列表出现创建的仓库名称，表示创建成功。

步骤四：进行代码开发

1. 单击目标代码仓库名称右侧的master，您可选择切换分支、新建分支、编辑或保存代码。

   说明

   保存操作相当于执行gitpush命令。

2. 确认环境。

   将鼠标悬浮在仓库名称上方，单击图标，然后确认环境及参数配置。

3. 将鼠标悬浮在仓库名称上方，单击按钮。

4. 在弹出的对话框，单击确定以部署代码。

   

步骤五：在Airflow空间查看已发布任务

1. 在工作空间页面的左侧导航栏单击图标。

2. 单击目标仓库下的AirFlow实例，查看已发布的任务。

   

   您可单击DAG名称，查看执行结果。

   

附录：Airflow规格信息