Airflow GUI 使用指南

高级配置（通用）

• 告警配置：可覆盖全局告警设置，为当前节点定义独立的告警策略。

• 重试：可覆盖全局重试设置，为当前节点定义独立的重试策略。

• 资源池配置：指定任务在 Airflow 的哪个资源池（Pool）中运行，用于控制任务的并发度。

  

• 触发规则（Trigger Rule）：定义当前任务的执行条件，如“所有上游任务成功”、“至少一个上游任务成功”等。

  

基础配置（按节点类型）

以下是部分常用节点的基础配置说明：

• 单实例 SQL

  • 功能：在指定的数据库实例上执行单条 SQL 语句。

  • 配置：选择实例和数据库，然后直接编写 SQL 或选择一个已存在于工作空间中的 .sql 文件。

    

  • 回调代码（可选）：一段 Python 代码，在 SQL 执行成功后运行。主要用途：

    1. 传递数据（XCom）：通过内置的 result 变量（一个包含 data 键的字典）获取 SQL 查询结果，并将其传递给下游任务。例如，result['data'][0]['co'] 表示获取结果集第一行中名为 co 的列的值。

    2. 结果校验：对 SQL 结果进行检查，不满足条件时可主动抛出异常使任务失败。

       if len(result["data"]) > 10:
           raise Exception("too many data")

• ADB Spark

  • 功能：在 AnalyticDB for MySQL 的 Spark 引擎上提交作业。

  • 配置：选择 ADB 实例和资源组，然后根据任务类型（SQL 或 BATCH）进行配置。

    • SQL 任务：直接编写 Spark SQL 或选择 .sql 文件。

      

    • BATCH 任务：提供一个 JSON 格式的 Spark 作业配置。

      {
        "args": [
          "1000"
        ],
        "className": "org.apache.spark.examples.SparkPi",
        "comments": [
          "-- Here is just an example of SparkPi. Modify the content and run your spark program."
        ],
        "conf": {
          "spark.driver.resourceSpec": "medium",
          "spark.executor.instances": 2,
          "spark.executor.resourceSpec": "medium"
        },
        "file": "local:///tmp/spark-examples.jar",
        "name": "SparkPi"
      }

• Notebook

  • 功能：运行工作空间中的 Notebook 文件。

  • 配置：

    • 选择 Notebook Session。

    • 选择 Notebook 文件路径。文件必须在工作空间内已配置，路径为工作空间的文件路径。

      

• Lindorm Spark

  • 功能：提交 Lindorm Spark 作业。

  • 配置：

    • 选择 Lindorm 实例。

    • 选择作业类型并配置作业参数。

      

• 无锁数据变更

  • 功能：以无锁方式在指定实例和数据库上执行数据变更 SQL。配置方式与"单实例 SQL"节点一致，同样支持回调代码处理执行结果。

• 条件分支

  • 功能：根据不同的条件，决定工作流的走向。

  • 配置：可以添加多个分支条件，每个条件都是一个返回 True 或 False 的 Python 表达式。表达式支持 Jinja 模板，可以引用 Airflow 变量。

    

  • 条件分支有多个下游边，可以拖拉拽设置。

    

• SSH 操作

  • 功能：通过 SSH 连接到远程服务器并执行命令。

  • 配置：

    1. 在 Airflow 的 Connections 中预先配置好 SSH 连接信息，并获取其 Connection ID。

       

    2. 在节点配置中填入该 Connection ID 和要执行的 Shell 命令。

       

• Bash 任务

  • 功能：在本地环境中执行 Bash 命令。

  • 配置：

    1. 配置要执行的 Bash 命令。

    2. 配置命令执行时的环境变量。

       

• 时间间隔

  • 功能：用于在任务流程中暂停等待一段指定的时间后再继续执行后续节点。

• 等待指定时间

  • 功能：等待到达指定的目标时间后再继续执行后续节点。目标时间支持使用 Airflow Jinja 模板语法动态设置。

• External Task Sensor

  • 功能：配置外部任务依赖检查，等待同一 Airflow 实例中的外部 DAG 或 Task 完成后再继续执行。

  • 配置：

    • 上游 DAG 名称：被依赖的 DAG 的 ID。

      

    • 上游节点名称（可选）：被依赖的 Task 的 ID。如果留空，则表示等待整个上游 DAG 完成。

• 空任务

  • 功能：一个不做任何事情的“占位符”节点，常用于聚合多个上游分支，或作为逻辑起点/终点，使工作流结构更清晰。

  • 配置：无。

• 入湖数据集成

  • 功能：将数据从源库集成到目标数据湖。

  • 配置：

    • 选择源库和目标库。

      

    • 配置数据集成任务的其他参数。