文档

管理离线计算任务

更新时间:

离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项,方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务

  4. 单击计算任务列表底部的计算任务列表,打开离线计算任务列表页签。image

  5. 离线计算任务列表页签下,进行以下操作。具体操作项及说明如下表。

    操作项

    说明

    筛选

    支持通过输入计算任务ID计算任务名称来筛选离线计算任务,适用于知晓任务ID或任务名称时进行快捷筛选出所需的周期任务。同时支持选中我开发的进行筛选。更多筛选条件,可单击筛选,打开更多筛选条件,具体筛选条件如下。

    • 任务类型:根据当前计算引擎下所支持的任务类型进行筛选。

    • 调度方式:根据离线计算任务的调度方式进行筛选。包括正常调度空跑调度暂停调度手动任务。更多信息,请参见调度方式说明

    • 开发负责人:根据任务的开发负责人进行筛选。

    • 最近提交状态:最近1次提交的提交详情状态进行筛选。包括提交中提交成功提交失败成功有风险

    • 输出表:根据离线计算任务的输出表名称进行筛选。

    • 创建时间:根据离线计算任务的创建时间进行筛选。

    • 引用计算模板:根据离线计算任务引用的计算模板进行筛选。

    • 任务状态:根据计算任务的开发状态进行筛选。包括草稿开发中已提交提交中

    • 调度周期:支持分钟小时共6种调度周期筛选。

    • 运维负责人:根据离线计算任务的运维负责人进行筛选。

    • 已发布:根据离线计算任务的是否已发布进行筛选。

    • 条件调度:根据离线计算任务的调度条件是否已开启未开启进行筛选。

    • 最近修改时间:根据离线计算任务最近1次修改时间进行筛选。包括近3天、近7天、近1月或某一时间区间。

    单击重置,即可快速清空所有筛选条件,恢复系统默认。

    查看批量操作记录

    单击查看批量操作记录,在批量操作记录面板中,单击提交其他操作页签,查看对应操作的批量操作记录。

    新建计算任务

    单击+新建计算任务,选择待创建离线计算任务的类型后,进行创建。

    列表表头配置

    单击列表上方的image图标,对列表表头进行设置,即选择列表中展示哪些字段。

    刷新

    单击列表上方的image图标,刷新当前离线计算任务列表。

    打开任务

    单击目标离线计算任务操作列的image图标,打开该离线计算任务的页签。在当前离线计算任务页签下,您可以进行编辑、配置等操作。

    获取锁

    获取当前离线计算任务的编辑锁并锁定。

    • 单个操作:单击目标离线计算任务操作列的image图标,可获取当前离线计算任务的编辑锁并锁定。

    • 批量操作

      1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

      2. 单击页面底部的批量获取锁,获取多个离线计算任务的编辑锁并锁定。

    说明

    离线计算任务列表页签下不支持释放锁操作,可在对应离线计算任务页签下释放。

    目录定位

    单击目标离线计算任务操作列的image图标,可在左侧计算任务树中定位到该离线计算任务。

    转交开发负责人

    将当前离线计算任务的开发负责人变更为其他用户。

    • 单个操作

      1. 单击目标离线计算任务操作列的image图标,选择转交开发负责人

      2. 转交开发负责人对话框中,选择目标用户。完成后单击确定

    • 批量操作

      1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

      2. 单击页面底部的image图标,选择批量转交开发负责人

      3. 批量转交开发负责人对话框中,选择目标用户。完成后单击确定

    去运维

    跳转至运维中心对指定的计算任务进行运维管理。

    单击目标离线计算任务操作列的image图标,选择去运维,跳转至任务运维页面中。更多信息,请参见查看并管理脚本任务查看并管理手动任务

    修改引用模板版本

    已引用计算模板的离线任务支持修改引用计算模板的版本。

    • 单个操作

      1. 单击目标离线计算任务操作列的image图标,选择修改引用模板版本

      2. 修改引用模板版本对话框中,选择模板版本。完成后单击确定

    • 批量操作

      1. 在离线计算任务列表中,选中多个使用同一个计算模板的计算任务。

      2. 单击页面底部的image图标,选择批量修改引用模板版本

      3. 批量修改引用模板版本对话框中,选择模板版本。完成后单击确定

    说明

    修改引用模板版本,任务需要提交发布后才生效。

    下线

    支持对已上线的计算任务进行下线操作。

    • 单个操作

      1. 单击目标离线计算任务操作列的image图标,选择下线

      2. 下线对话框中填写备注,不超过128个字符。

      3. 完成后单击确定并提交

    • 批量操作

      1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

      2. 单击页面底部的image图标,选择批量下线

      3. 批量下线对话框中,填写备注,不超过128个字符。

      4. 完成后,单击确定并提交

    说明
    • 若离线计算任务中存在下游依赖的节点,下线操作将不生效。

    • 下线提交成功后,可前往待发布列表,发布对象至生产环境。

    下线并删除

    支持对已上线的计算任务进行下线并删除操作。

    • 单个操作

      1. 单击目标离线计算任务操作列的image图标,选择下线并删除

      2. 下线并删除对话框中填写备注,不超过128个字符。

      3. 完成后单击确定并提交

    • 批量操作

      1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

      2. 单击页面底部的image图标,选择批量下线删除

      3. 批量下线删除对话框中,填写备注,不超过128个字符。

      4. 完成后,单击确定并提交

    说明
    • 若离线计算任务中存在下游依赖的节点,下线并删除操作将不生效。

    • 下线并删除提交成功后,可前往待发布列表,发布对象至生产环境。

    删除

    支持对状态为草稿的计算任务进行删除操作。

    单击目标计算任务操作列的image图标,选择删除,在删除对话框中填写备注,完成后单击确定并提交

    批量移动

    支持同时移动多个离线计算任务至其他目录下。

    1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

    2. 单击页面底部的image图标,选择批量移动

    3. 在新建文件夹对话框中,输入文件夹名称并选择文件夹的目录位置。

      文件夹名称长度不超过256个字符,不支持竖线(|)、正斜线(/)、反斜线(\)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)和半角引号(")。

    4. 单击确定,完成批量移动。

    批量调度配置

    支持同时修改多个离线计算任务的调度配置信息。

    1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

    2. 单击页面底部的image图标,选择批量调度配置

    3. 在批量调度配置对话框中,选择调度类型调度周期。调度配置详情请参见离线任务调度属性配置

    4. 单击确定,完成批量调度配置。

    说明
    • 批量调度配置仅对周期任务生效。

    • 批量配置后,选中的周期任务原有的调度属性配置将被覆盖,请谨慎操作;若选中的周期任务已配置条件调度,则在批量设置时将调度类型修改为空跑暂停,将会批量关闭条件调度

    批量依赖配置

    支持同时配置多个离线计算任务的依赖信息。

    1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

    2. 单击页面底部的image图标,选择批量依赖配置

    3. 批量依赖配置对话框中,添加、删除或编辑依赖。若存在多个上游依赖,您可单击添加依赖,选择物理节点逻辑表节点进行添加。调度依赖详情请参见配置离线任务调度依赖

    4. 单击确定,完成批量依赖配置。

    说明

    批量依赖配置对话框中的列表仅显示已选中任务共有的(依赖对象与依赖设置相同)人工添加的上游依赖,添加、删除、编辑依赖将应用到所有选中任务

    批量参数配置

    支持同时配置多个离线计算任务的参数。若需配置多个参数,您可单击+添加参数进行添加。

    1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

    2. 单击页面底部的image图标,选择批量参数配置

    3. 批量参数配置对话框中,配置参数。若需配置多个参数,您可单击+添加参数进行添加。运行参数详情请参见配置离线任务运行参数

    4. 单击确定,完成批量参数配置。

    说明

    可设置的参数是所选中任务的本地变量合集,系统将覆盖所有选中任务对应参数的值。如果设置参数paramA=valueA,而任务taskA不包含参数paramA,则跳过taskA;如果包含,则设置taskA的paramA为valueA。不支持批量设置空间名称变量和全局变量的取值。

    批量运行配置

    支持同时配置多个离线计算任务的运行配置。

    1. 在离线计算任务列表中选中多个任务,或选中页面底部的选中前的复选框进行全选。

    2. 单击页面底部的image图标,选择批量运行配置

    3. 批量运行配置对话框中,配置运行超时失败自动重跑。运行配置详情请参见计算任务运行配置

    4. 单击确定,完成运量运行配置。

    重要

    批量配置后,选中任务原有的运行配置将被覆盖,请谨慎操作。