本文为您介绍如何在在Airflow Web UI页面或OSS控制台管理DAG。

背景信息

本文通过以下两种方式,为您介绍如何管理DAG,您可以根据您的实际情况,选择相应的方式。

前提条件

  • 已创建EMR Studio集群。

    创建集群详情,请参见创建集群

  • 已绑定计算集群。
    注意
    • 绑定集群页签下,仅显示同一个VPC下的EMR集群。
    • 仅支持绑定Hadoop集群。

方式一:在OSS控制台编辑DAG

警告 无论是通过Code Editor插件还是OSS更改DAG,在Airflow扫描到更新后都会在调度中生效,请谨慎修改!
  1. 登录OSS管理控制台
  2. 进入您在创建集群时选择的数据开发存储的dags路径下。
  3. 您可以对已有的DAG进行以下操作。
    操作 描述
    上传文件 详细步骤,请参见上传文件
    修改文件 请在您本地修改或新建文件,然后上传文件至OSS控制台。
    重命名文件 详细步骤,请参见重命名文件
    新建目录 详细步骤,请参见创建目录
    下载文件 详细步骤,请参见下载文件
    删除文件 详细步骤,请参见删除文件
    删除目录 详细步骤,请参见删除目录

方式二:在Airflow Web UI页面管理DAG

警告 在Code Editor中修改提交会直接作用在OSS上的对应文件上,不建议在生产环境中使用Code Editor,避免操作失误造成损失。可以在开发或测试中使用Code Editor,以提高效率。
  1. 在Airflow Web UI页面,在上方选择Admin > DAGs Code Editor
    DAGs Code Editor
  2. 您可以对已有的DAG进行以下操作。
    操作 描述
    新建文件
    1. Files页面,单击右上角的New
    2. 输入文件内容。
    3. 单击下方的Save
    4. Save Flie对话框中,输入文件名,单击Save
    修改文件
    1. Files页面,单击目标文件的文件名。
    2. 输入文件内容。
    3. 单击下方的Save
    重命名文件
    1. Files页面,单击目标文件的文件名。
    2. 单击下方的Save as...
    3. Save Flie对话框中,输入文件名,单击Save
    新建文件目录 请在OSS控制台创建目录,详细步骤,请参见创建目录
    下载文件 Files页面,单击目标文件所在行的download图标,即可下载目标文件。
    删除文件
    1. Files页面,单击目标文件的文件名。
    2. 单击下方的Delete
    3. Confirm Delete对话框中,单击Delete
    4. Success对话框中,单击OK