管理手动任务

手动任务是已提交至运维中心,且调度类型为手动节点的任务。手动任务不会自动运行,只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。

手动任务页面入口

  1. Dataphin首页的顶部菜单栏,选择研发 > 任务运维

  2. 在左侧导航栏选择任务运维 > 手动任务,打开手动任务页面。

  3. 在顶部菜单栏选择生产或开发环境。

手动任务页面介绍

手动任务页面主要由筛选及搜索区、筛选区、手动任务列表、批量操作区组成您可以在手动任务页面对提交的手动任务进行相关的运维操作。

image

区块

说明

筛选及搜索区

支持通过输入任务对象名称或ID来筛选手动任务,适用于知晓任务对象名称或ID时进行快捷筛选出所需的手动任务。同时,还支持选中我的任务今日更新进行筛选。

  • 我的任务:任务负责人为当前账号的手动任务。

  • 今日更新:更新时间为当日的手动任务。

  • 筛选单击筛选展开筛选区,筛选项包括:

    • 任务类型:根据Dataphin创建的手动类型任务进行筛选。环境不同,所支持的任务类型不同,请以实际页面展示为准。

    • 运维负责人:根据任务的运维负责人进行筛选。

    • 优先级:根据任务运行的优先级进行筛选,可选择多个优先级,包含最高最低

    • 更新时间:可选择今天自定义时间范围进行筛选。

    • 项目:根据任务所在项目进行筛选,可选择多个当前登录用户拥有运维-访问目录权限的项目。

    • 调度资源组:根据手动任务配置的调度资源组进行筛选,可选择多个资源组。

    如果您需要重新选择,则单击重置,可快速清除所有已选筛选条件。

手动任务列表区

手动任务页面以列表形式为您展示已提交到运维中心的手动任务。列表中展示当前任务对象优先级运维负责人项目调度资源组最近更新时间及支持的操作

  • 项目:任务所属的项目,展示格式为项目英文名(项目中文名)

  • 调度资源组:任务指定的实例运行时使用的调度资源组名称。

    如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组;如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组 > 项目默认资源组 > 租户默认资源组

    说明

    进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。

    租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组。当任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。

  • 操作:列表操作栏为您展示手动任务支持的运维管理操作。详情请参见手动任务列表支持的操作

批量操作区

您可通过批量操作区域提供运维功能,批量对手动任务进行批量处理,提高操作效率。操作详情,请参见手动任务批量操作

手动任务列表支持的操作

操作项

说明

查看节点代码

可进入代码详情页,查看手动任务的节点代码。

查看实例

查看任务运行生成的手动实例。同时,您也可以对手动实例进行运维和管理。

运行

手动触发任务的运行,详情请参见运行手动任务

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

说明

编辑开发节点后,需要提交或发布后,生产节点的数据才会更新。

编辑节点

编辑某个任务的节点,仅适用于Basic模式。

说明

编辑节点后,需要提交或发布后,生产节点的数据才会更新。

查看节点脚本

查看管道任务的关联依赖图。

说明

仅数据集成模块提交的手动任务支持查看节点脚本。

查看生产节点

进入Prod项目中,查看该任务节点数据。

修改运维负责人

修改任务的运维负责人。

说明
  • 仅适用于ProdBasic项目中的任务(即生产环境任务)。

  • 仅支持选择租户内的成员。

配置监控报警

配置任务运行的监控规则。任务运行过程中,如果触发了监控规则,系统会给您发送告警消息,便于您及时发现异常,保障业务数据正常产出。具体操作,请参见离线任务监控概述

说明

系统仅支持对ProdBasic项目中的任务(即生产环境任务)配置监控。

修改调度资源组

可修改任务生成的实例运行时使用的调度资源组。

说明
  • ProdBasic项目下的任务可修改调度资源组。

  • 修改后对已生成的实例无影响,仅影响新生成的实例;如果需要修改已生成的实例使用的资源组,可以在实例列表进行操作。

查看节点代码详情

单击操作列下的trta图标或单击任务对象名称,页面右侧为您展示当前任务的详情。您可以单击image图标,隐藏左侧手动任务列表,放大手动任务详情页。

image

区块

说明

运维管理区

提供运维管理手动任务的入口。

  • 查看操作日志:查看当前任务的操作日志,日志中包含操作时间、操作人和具体操作。

  • 查看手动实例:进入手动实例页面,查看当前任务运行生成的手动实例。

    说明

    仅运行过的手动任务会生成手动实例。

  • 查看节点代码:查看管道任务的节点代码。

    说明

    仅管道任务,支持查看节点代码。

    查看节点代码后,单击查看节点脚本,返回至可视化展示管道任务上下游组件页面。image

  • 编辑开发节点:进入Dev项目下当前任务编辑页面,编辑该任务。

    说明

    Dev-Prod开发模式支持此操作。

  • 编辑节点:进入当前任务编辑页面,编辑该任务。

    说明

    Basic模式支持此操作。

  • 查看生产节点:进入Prod项目中,查看当前任务配置。

  • 刷新:刷新当前手动任务。

  • 运行:单击运行,在运行对话框中配置业务日期、并发运行组数、运行顺序和参数配置,详细配置说明请参见运行手动任务

节点信息区

展示手动任务的节点信息和运行信息。

任务代码区

  • 数据开发模块提交的手动任务,支持查看任务计算结果。

  • 数据集成模块提交的手动任务,默认展示管道任务上下游组件。

    您也可以单击页面上方的查看节点代码,查看管道任务的节点脚本。

运行手动任务

  1. 单击运行,打开运行对话框。

  2. 运行对话框中,配置以下参数。

    参数

    描述

    业务日期

    可选择按区间、按周期或自定义。默认选择按区间,区间默认值为当前业务日期~当前业务日期

    • 按区间:选择按区间后,还需选择区间的时间范围,时间范围跨度不能大于1适用于当前任务需要连续运行多个业务日期的场景。

    • 按周期:选择按周期后,还需选择周期的时间范围并指定每月或每周的日期。时间范围跨度不能大于1,默认为当前业务日期~当前业务日期。适用于当前任务需要在多个连续业务日期内,在每周中的特定星期或每月中的特定日期运行的场景。

      • 每周:每周在选中的星期运行,例如每周周一、周二。

      • 每月:每月在选中的日期运行,例如每月1日、5日、10日。

        说明

        月末指每月的最后一天。

    • 自定义:支持输入多个业务日期,格式为YYYY-MM-DD,多个业务日期之间使用回车分隔。可输入业务日期的范围为1900-01-01~至今,超出范围的日期不生效。

    并发运行数

    默认为1,支持输入1~12间的整数。

    运行顺序

    可选择业务日期正序业务日期倒序,默认为业务日期正序,即按照业务日期的正序逐一执行。

    参数配置

    若当前手动任务包含本地变量,在本地参数配置完成后,手动任务将按照所配置的参数值运行,可选择填充空值。此外,在当前任务生成的所有实例中,参数取值将保持一致。

  3. 配置完成后,单击提交

手动任务批量操作

操作项

说明

运行

选中多个任务后,单击列表底部的运行,配置批量运行的业务日期、并发运行组数和运行顺序,参数说明详见运行手动任务

说明
  • 若只选中单个手动任务,则还支持配置参数。

  • 1次批量操作最多选中100手动任务。

修改运维负责人

选中多个任务后,单击列表底部的修改运行负责人,可同时修改多个任务的运维责任人。

说明
  • 仅支持选择本项目内的成员。

  • 仅适用于ProdBasic项目。

修改优先级

选中多个任务后,单击列表底部的修改优先级,可同时修改多个任务的优先级。在相同时间下,所有符合调度条件的任务,高优先级的任务优先运行。修改任务的优先级后,再次调度将按照最新的优先级进行调度。

修改任务优先级操作即刻生效,无需提交或发布任务。

说明

仅适用于ProdBasic项目(即生产环境任务)。

修改调度资源组

选中多个任务后,单击列表底部的修改调度资源组,可批量修改多个任务生成的实例运行时使用的调度资源组。

说明
  • 选择多个项目下的任务时,目标调度资源组仅列举这些项目均被授权共有的调度资源组。建议先筛选单个项目后,再批量设置。

  • 修改后对已生成的实例无影响,仅影响新生成的实例;如果需要修改已生成实例使用的资源组,可以在实例列表进行操作。