文档

查看并管理脚本任务

更新时间:

脚本任务页面包含计算任务、同步任务和集成任务,每个任务对应一个调度节点,本文以节点视角为您介绍如何查看并管理脚本任务。

脚本任务页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入脚本任务页面。

    单击运维->选择项目(Dev-Prod模式需要选择环境)->单击周期任务

    image.png

查看脚本任务列表

周期脚本任务提交到运维中心调度后,将在周期的脚本任务列表为您展示。周期脚本任务运维列表页面展示当前任务对象、调度周期、优先级、运维负责人、相关基线、资源组、最近更新时间及支持的操作。

image.png

字段

描述

任务对象

提交到运维中心的脚本周期任务。包含脚本名称和脚本ID。并标识任务的调度方式。更多信息,请参见调度方式说明

调度周期

任务所属的调度周期。

优先级

任务所属的优先等级。

说明

若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

运维负责人

该周期任务的运维负责人。

相关基线

展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

调度资源组

任务指定的实例运行时使用的调度资源组名称。

如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组; 如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组

说明

进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。

租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。

最近更新时间

任务最后一次的更新时间。

脚本任务列表支持的操作

操作

描述

DAG图

单击image可查看该脚本任务的DAG图。更多信息,请参见脚本任务DAG节点支持的操作

查看周期实例

查看该任务生成的周期实例。同时,您也可以对周期实例进行运维和管理。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务。

说明

仅适用于Dev-Prod开发模式。

编辑节点

进入该任务的编辑页面,编辑该任务。

说明

仅适用于Basic模式。

查看生产节点

进入Prod项目中,查看该任务配置。

说明

Basic模式和Dev-Prod开发模式下未发布到生产环境中的任务不支持该功能。

查看节点代码

查看该脚本任务节点编写的代码。

查看补数据实例

查看并运维补数据操作生成的补数据实例。

补数据

周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据,可以使用补数据功能。对脚本任务节点进行补数据操作,详情请参见周期任务补数据

修改运维负责人

修改任务的运维责任人。

说明

仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

修改优先级

修改任务的优先级。在相同时间下,所有符合调度条件的任务,高优先级的优先运行。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 若已开通基线功能,任务优先级仅支持配置最低、低、中;更高优先级需通过基线配置。

  • 基线任务不支持修改,优先级以基线优先级为准,请通过基线调整。

  • 若您的计算引擎类型为MaxCompute,则Dataphin任务优先级与MaxCompute的作业优先级对应关系为最低(9)、低(7)、中等(5)、高(3)、最高(1)。关于MaxCompute作业优先级更多说明,请参见MaxCompute作业优先级

暂停

即可将当前任务节点置为暂停调度状态。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

恢复

即可将已暂停节点置为正常调度状态。

配置监控报警

支持配置任务运行的监控规则,详情请参见离线任务监控概述

说明

仅适用于Prod和Basic项目。

修改调度资源组

可修改任务生成的实例运行时使用的调度资源组。

说明
  • 仅生产环境项目下的任务可修改调度资源组。

  • 修改后对已生成的实例无影响,仅影响新生成的实例;如果需要修改已生成的实例使用的资源组,可以在实例列表进行操作。

脚本任务DAG节点支持的操作

DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中脚本任务节点,您可以对任务进行相关的运维操作。

Dataphin支持跨项目节点的运维管理。对跨项目的脚本节点进行运维操作时,需要具备任务所在项目的查看及操作权限。

image.png

  • DAG图支持的操作

    操作

    描述

    DAG图节点操作

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

  • DAG节点支持的操作

    脚本任务DAG节点支持的操作与脚本任务列表支持的操作相同。更多信息,请参见脚本任务列表支持的操作

脚本任务支持的批量操作

周期脚本任务支持以下批量操作功能:

操作

描述

暂停

暂停全部已选任务。暂停后,暂停的任务仍正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。

恢复

恢复已选任务调度。

修改运维负责人

可批量修改周期脚本任务的运维负责人。

说明

仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

修改优先级

可批量修改周期脚本任务的优先级。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 若已开通基线功能,任务优先级仅支持配置最低、低、中;更高优先级请通过基线配置。

  • 基线任务不支持修改,优先级以基线优先级为准,请通过基线调整。

  • 若您的计算引擎类型为MaxCompute,则Dataphin任务优先级与MaxCompute的作业优先级对应关系为最低(9)、低(7)、中等(5)、高(3)、最高(1)。关于MaxCompute作业优先级更多说明,请参见MaxCompute作业优先级

修改调度资源组

可批量修改多个任务生成的实例运行时使用的调度资源组。

说明
  • 仅生产环境项目下的任务可修改调度资源组。

  • 修改后对已生成的实例无影响,仅影响新生成的实例;如果需要修改已生成的实例使用的资源组,可以在实例列表进行操作。