Airflow环境搭建与管理

前提条件

• 已创建工作空间并配置资源。

• 已按照准备Airflow所需资源的步骤准备好实例资源。

费用说明

Airflow实例的费用与该实例的工作流规格（使用的CU数）相关，单价请以配置资源时的页面提示为准。

步骤一：创建Airflow实例

1. 登录数据管理DMS 5.0。

2. 单击控制台左上角的图标，在数据库开发区域，点击工作空间。

   说明

   若您使用的是非极简模式的控制台，请在顶部菜单栏中，选择Data+AI > 工作空间。

3. 在工作空间列表中，单击目标工作空间名称，进入工作空间详情页。

4. 在详情页左侧导航栏点击 > Airflow实例，再单击创建实例。

   重要

   创建实例前，请确保当前工作空间已配置CU资源，否则会因资源不足导致创建失败。详情请参考配置资源。

5. 配置实例的以下参数：

   配置项	说明
   实例名称	指定Airflow实例的名称。
   描述（可选）	输入Airflow实例的描述信息。
   选择版本	选择要部署的Airflow版本。不同版本支持的功能和兼容性有所不同，建议选择最新稳定版本。
   工作流规格	请根据工作流规模和复杂程度合理选择规格。更多信息，请参见Airflow规格信息。
   Worker节点扩展	Airflow会根据任务负载情况自动调整使用节点数。Worker节点最小为1，最大为10。
   开启弹性扩展	选择是否开启弹性扩展。开启后资源会根据负载弹性增加，每增加1个worker节点额外消耗1CU。
   VPC ID	无需调整，默认与工作空间的VPC一致。
   交换机	选择目标交换机。如果没有可用的交换机，单击创建交换机创建。
   安全组	选择控制工作流的安全组。如果没有可用的安全组，单击创建安全组创建
   日志存储	指定Airflow实例日志存储的位置。 在左侧下拉框内选择用于存储日志的OSS Bucket。如果没有可用的Bucket，单击创建OSS Bucket创建。 在右侧文本框内输入日志在OSS bucket中的存储路径。示例：/airflow-logs。 说明 默认路径/代表日志存储在Bucket的根目录下。
   数据存储（可选）	指定Airflow用户自定义数据存储的位置。如无特殊需求，可以保持默认不挂载。如果不挂载，数据默认存储在内部数据库中。如果需要配置，请按照以下步骤进行： 单击+添加。 在左侧下拉框选择用于存储数据的OSS Bucket, 在右侧文本框中输入数据在Bucket中的存储路径。 在挂载路径区域输入要挂载在工作空间的数据目录，并选择是否勾选只读。如果勾选，Airflow 对该目录下的数据时仅有读取权限。
   启动脚本（可选）	在左侧下拉框中选择启动脚本的路径。该脚本会在airflow启动前自动执行，在脚本中可设置PYTHONPATH环境变量等。
   包依赖（可选）	在左侧下拉框中选择包依赖文件的路径。该文件中可设置airflow启动前会安装的python依赖，如langchain==0.3.26。
   Dag目录（可选）	在左侧下拉框中选择DAG目录的路径。只有该目录中的DAG作业能够生效。
   自定义插件（可选）	在左侧下拉框中选择自定义插件的路径。只有该目录中的插件设置能够生效。

6. 单击确定。当实例状态变为运行中，表示资源已部署完成。

   说明

   Airflow实例首次创建预计需要20分钟左右。

   实例创建成功后，在工作空间左侧导航栏的资源管理面板中选择Airflow实例，在实例列表中查看实例ID。实例列表默认显示实例ID列，实例ID以af-开头，格式如af-xxxxxxxxxxxxxxxxxxxx。

步骤二：编写代码

DMS Airflow支持两种代码管理方式：

• 方式一：直接在工作空间中创建和编写DAG代码文件。

• 方式二：绑定已有的Git仓库管理代码。

本文档以第一种方式作为示例进行说明。如果您想通过绑定Git仓库编写和管理代码，请参考在Airflow实例中绑定Git仓库管理代码。

步骤三：打开Airflow查看已发布任务

1. 在工作空间左侧选择 > Airflow实例，找到目标Airflow实例。

2. 在目标实例的操作列中，单击打开，进入Airflow DAGs页面。

3. 在左侧导航栏中单击Dags，在列表中单击DAG名称，查看运行结果。

附录：Airflow规格信息