本文为您介绍如何在Airflow Web UI页面或OSS控制台管理DAG。
背景信息
本文通过以下两种方式,为您介绍如何管理DAG,您可以根据您的实际情况,选择相应的方式。
- 如果是生产环境,建议您使用方式一:在OSS控制台编辑DAG。
- 如果是开发环境或测试环境,建议您使用方式二:在Airflow Web UI页面管理DAG。
前提条件
- 已创建EMR Studio集群。
创建集群详情,请参见创建集群。
- 已绑定计算集群。
注意
- 绑定集群页签下,仅显示同一个VPC下的EMR集群。
- 仅支持绑定Hadoop集群。
方式一:在OSS控制台编辑DAG
警告 无论是通过Code Editor插件还是OSS更改DAG,在Airflow扫描到更新后都会在调度中生效,请谨慎修改!
- 登录 OSS管理控制台。
- 进入您在创建集群时选择的数据开发存储的dags路径下。
- 您可以对已有的DAG进行相应的操作。
方式二:在Airflow Web UI页面管理DAG
警告 在Code Editor中修改提交会直接作用在OSS上的对应文件上,不建议在生产环境中使用Code Editor,避免操作失误造成损失。可以在开发或测试中使用Code
Editor,以提高效率。