本文为您介绍如何在Airflow Web UI页面或OSS控制台管理DAG。
背景信息
本文通过以下两种方式,为您介绍如何管理DAG,您可以根据您的实际情况,选择相应的方式。
- 如果是生产环境,建议您使用方式一:在OSS控制台编辑DAG。
- 如果是开发环境或测试环境,建议您使用方式二:在Airflow Web UI页面管理DAG。
前提条件
- 已创建EMR Studio集群。
创建集群详情,请参见创建集群。
- 已绑定计算集群。重要
- 绑定集群页签下,仅显示同一个VPC下的EMR集群。
- 仅支持绑定Hadoop集群。
方式一:在OSS控制台编辑DAG
警告 无论是通过Code Editor插件还是OSS更改DAG,在Airflow扫描到更新后都会在调度中生效,请谨慎修改!
- 登录 OSS管理控制台。
- 进入您在创建集群时选择的数据开发存储的dags路径下。
- 您可以对已有的DAG进行相应的操作。
方式二:在Airflow Web UI页面管理DAG
警告 在Code Editor中修改提交会直接作用在OSS上的对应文件上,不建议在生产环境中使用Code Editor,避免操作失误造成损失。可以在开发或测试中使用Code Editor,以提高效率。
- 在Airflow Web UI页面,在上方选择Admin > DAGs Code Editor。
- 您可以对已有的DAG进行以下操作。
操作 描述 新建文件 - 在Files页面,单击右上角的New。
- 输入文件内容。
- 单击下方的Save。
- 在Save Flie对话框中,输入文件名,单击Save。
修改文件 - 在Files页面,单击目标文件的文件名。
- 输入文件内容。
- 单击下方的Save。
重命名文件 - 在Files页面,单击目标文件的文件名。
- 单击下方的Save as...。
- 在Save Flie对话框中,输入文件名,单击Save。
新建文件目录 请在OSS控制台创建目录,详细步骤,请参见管理目录。 下载文件 在Files页面,单击目标文件所在行的 删除文件 - 在Files页面,单击目标文件的文件名。
- 单击下方的Delete。
- 在Confirm Delete对话框中,单击Delete。
- 在Success对话框中,单击OK。
该文章对您有帮助吗?