集成和计算任务页面包含计算任务、同步任务和集成任务,每个任务对应一个调度节点,本文以节点视角为您介绍如何查看并管理集成和计算任务。
集成和计算任务页面入口
在Dataphin首页的顶部菜单栏中,选择研发 > 任务运维。
在左侧导航栏中选择任务运维 > 周期任务。
在顶部菜单栏中选择生产或开发环境。
在周期任务页面中,单击集成和计算任务页签。
集成和计算任务列表支持的操作
集成和计算任务提交到运维中心调度后,将在周期任务 > 集成和计算任务列表为您展示。列表中展示当前任务对象、调度周期、优先级、运维负责人、相关基线、项目、调度资源组、最近更新时间及支持的操作。
任务对象:提交到运维中心的脚本周期任务。展示脚本名称和脚本ID,并标识任务的调度方式。更多信息,请参见调度方式说明。
优先级:任务的优先级。若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。
相关基线:展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。
说明若未开通基线功能,则不展示该字段信息。
项目:任务所属的项目,展示格式为
项目英文名(项目中文名)
。调度资源组:任务指定的实例运行时使用的调度资源组名称。
如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组;如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组。
说明进行更换项目默认资源组操作时,此处展示更新可能会存在延迟,但实际执行将使用修改后的资源组。
租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。
集成和计算任务列表支持的操作如下。
操作 | 描述 |
DAG图 | 单击 |
查看周期实例 | 查看该任务生成的周期实例。同时,您也可以对周期实例进行运维和管理。 |
编辑开发节点 | 进入Dev项目下该任务的编辑页面,编辑该任务。 说明 仅适用于Dev-Prod开发模式。 |
编辑节点 | 进入该任务的编辑页面,编辑该任务。 说明 仅适用于Basic模式。 |
查看生产节点 | 进入Prod项目中,查看该任务配置。 说明 Basic模式和Dev-Prod开发模式下未发布到生产环境中的任务不支持该功能。 |
查看节点代码 | 查看该集成和计算任务节点编写的代码。 |
查看补数据实例 | 查看并运维补数据操作生成的补数据实例。 |
补数据 | 周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据,可以使用补数据功能。对集成和计算任务节点进行补数据操作,详情请参见周期任务补数据。 |
修改运维负责人 | 修改任务的运维责任人。 说明 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。 |
修改优先级 | 修改任务的优先级。在相同时间下,所有符合调度条件的任务,高优先级的优先运行。 说明
|
暂停 | 即可将当前任务节点置为暂停调度状态。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。 |
恢复 | 即可将已暂停节点置为正常调度状态。 |
配置监控报警 | 支持配置任务运行的监控规则,详情请参见离线任务监控概述。 说明 仅适用于Prod和Basic项目。 |
修改调度资源组 | 可修改任务生成的实例运行时使用的调度资源组。 说明
|
集成和计算任务DAG节点支持的操作
DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中集成和计算任务节点,您可以对任务进行相关的运维操作。
Dataphin支持跨项目节点的运维管理。对跨项目的脚本节点进行运维操作时,需要具备任务所在项目的查看及操作权限。
DAG图支持的操作
展开父节点、展开子节点:展开DAG图中Main节点不同层级的依赖节点。
DAG节点支持的操作
集成和计算任务DAG节点支持的操作与集成和计算任务列表支持的操作相同。更多信息,请参见集成和计算任务列表支持的操作。
集成和计算任务支持的批量操作
周期集成和计算任务支持以下批量操作功能:
操作 | 描述 |
暂停 | 暂停全部已选任务。暂停后,暂停的任务仍正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。 |
恢复 | 恢复已选任务调度。 |
修改运维负责人 | 可批量修改周期集成和计算任务的运维负责人。 说明 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。 |
修改优先级 | 可批量修改周期集成和计算任务的优先级。 说明
|
修改调度资源组 | 可批量修改多个任务生成的实例运行时使用的调度资源组。 说明
|