脚本任务

脚本任务页面包含计算任务、同步任务和集成任务,每个任务对应一个调度节点,为您提供节点视角的运维。

请参见入口介绍,进入脚本任务页面。

脚本任务的相关说明,请参见通用功能说明2

列表区

操作

描述

限制

影响

查看周期实例

查看某个任务运行生产的周期实例。同时,您也可以对周期实例进行运维和管理。

任务已参与系统的调度,生成周期实例。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

Dev项目中该任务存在。

编辑开发节点后,需要提交并发布后,生产节点的数据才会更新。

编辑节点

编辑某个节点对应的计算任务或集成任务,仅适用于Basic模式。

Basic项目中该任务存在。

编辑节点后,需要提交或发布后,生产节点的数据才会更新。

查看生产节点

进入Prod项目中,查看该任务配置。

Prod项目中该任务存在。

查看节点代码

查看该脚本任务节点编写的代码。

查看补数据实例

查看并运维补数据操作生成的实例。

该任务已通过补数据操作生成补数据实例。

补数据

对脚本任务节点进行补数据操作,详情请参见补数据

补数据实例运行成功后,对应业务日期内的数据更新。

修改负责人

修改任务的责任人。

仅支持选择本项目内的成员。

修改优先级

在相同时间下,所有符合调度条件的任务,高优先级的优先运行。

  • 修改任务优先级,仅对修改后新生成的实例生效,已生成实例的优先级不会跟随改变。

  • 如果任务被纳入基线监控范围,则不支持配置任务本身的优先级,仅支持通过调整归属基线或相关基线的优先级来调整任务优先级。

修改任务的优先级后,再次调度按照最新优先级调度。

暂停

即可将当前任务节点置为暂停调度状态。

暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

系统仅支持暂停非暂停状态的任务节点。

暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。

恢复

即可将已暂停节点置为正常调度状态。

系统仅支持恢复已暂停的任务节点。

恢复后,当前任务节点正常生产调度实例。

配置监控报警

说明

仅Prod和Basic项目支持配置监控报警。

配置任务运行的监控规则,详情请参见配置实时监控报警规则

系统仅支持对Prod和Basic项目中的任务(即生产环境任务)配置监控。

任务运行过程中,如果触发了监控规则,系统会给您发送告警消息,便于您及时发现异常,保障业务数据正常产出。

批量操作区

操作

描述

限制

影响

批量暂停任务

支持同时暂停多个任务。

暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

选中的任务均为非暂停状态的任务节点,系统支持批量暂停操作。

暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。

批量恢复任务

支持同时恢复多个已暂停的任务。

系统仅支持恢复已暂停的任务节点。

恢复后,当前任务节点正常生产调度实例。

批量修改任务的责任人

支持同时修改多个任务的责任人。

系统仅支持选择项目内的成员。

批量修改任务的优先级

支持同时修改多个任务的优先级。

如果选中的任务因为被纳入了基线范围而不支持调整任务的优先级,则不执行任何操作。

修改任务的优先级后,再次调度按照最新优先级调度。

DAG图

DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。

tst

操作

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看周期实例

查看当前节点生成的实例。

查看补数据实例

查看当前节点的补数据实例。

查看节点代码

查看当前节点的代码。

查看生产节点

查看Prod项目中该任务配置。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

编辑节点

编辑某个节点对应的计算任务或集成任务,仅适用于Basic模式。

补数据

对脚本任务节点进行补数据操作,请参见补数据

查看操作日志

查看当前节点的操作日志。

查看节点详情

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息:

  • 节点详情页签,查看该节点的详细配置信息,包括节点名称、节点ID、所在项目、负责人、更新时间、调度周期和优先级。

  • 操作日志页签,查看当前节点的操作日志,包括操作时间、操作人和操作。

  • 节点代码页签,查看节点的代码。

faf

补数据

补数据操作的适用场景:

  • 新开发的任务,只能从第二天开始调度,历史分区的数据需要通过补数据实现。

  • 上游依赖的任务重跑或者补数据导致历史分区数据刷新,下游任务也需要同步刷新。

test

参数

描述

实例名称

系统自动生成,命名格式为节点名称_运行日期_实例化编号,您可以手动更改。

业务日期

选择需要进行补数据的业务日期区间,默认选中昨天,如果您只需要对单天进行补数据,则开始时间和结束时间选择相同日期即可。

说明

业务日期是调度系统默认参数。如果在配置任务的调度参数时,自定义了业务日期参数表达式,则系统按照自定义参数表达式进行计算转换。

并发运行分组

并发运行分组用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行1组最多并发运行12组。

  • 业务日期的跨度时间小于并发运行组数,则并行执行。例如,业务日期是1月11日~1月13日,并发运行组数为5,则会生成一个补数据实例文件夹,补数据实例文件夹下有三个业务日期的补数据实例。

  • 业务日期的跨度时间大于并发运行组数,则可能兼有串行和并行。相同组内的实例按业务日期顺序运行,不同组之间的实例并行运行。例如,业务日期是1月11日~1月13日,并发运行组数为2,11号和12号为一组,13号为一组,11号和13号的实例同时开始运行,12号的实例则会在11号的实例运行完成后开始运行。

是否选择下游

选择是否为当前节点的下游节点补数据。当您选择,系统会自动为您计算依赖当前选中节点的下游节点。

说明

如果下游节点是逻辑表任务节点,则依赖了当前选中节点的字段均会执行补数据操作。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈