本文汇总了Airflow使用时的常见问题。

如何排查调度失败的任务?

您可以按照以下步骤排查:
  1. 在Airflow的DAGs页面,单击失败的DAG。
  2. Tree View页面,单击失败任务的failed-task图标。

    弹出相应Task的对话框。

  3. 单击Task对话框中的View logView log

    您可以在Log页面,根据失败作业的日志信息处理。

如何修改Airflow的配置?

您可以在E-MapReduce控制台的Airflow服务页面,修改配置项,详细信息请参见管理组件参数

如何手动重启失败的DAG?

您可以按照以下步骤操作:
  1. 在Airflow的DAGs页面,单击目标调度任务的DAG。
  2. Tree View页面,单击fail图标。

    弹出相应Task的对话框。

  3. 单击Task对话框中的ClearClrear
  4. 单击OK

    Scheduler会当作此任务未运行过,然后触发此任务重新运行。

如何在DAG中使用集群模板?

详细操作,请参见动态启动计算集群运行工作流调度

如何确定更新的DAG已生效?

无论是上传或者修改DAG后,都需要等待一段时间才能生效。每隔一段时间Airflow会扫描并更新DAG。您可以通过以下操作查看:

  1. 在Airflow的DAGs页面,单击目标DAG。
  2. 单击上方的Codecode

    可以在此页面查看代码是否已更新,已更新则说明更新已生效。如果超过五分钟还未更新,请联系我们