周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在运维中心的周期任务页面查看当前工作空间下的定时调度任务列表及生产环境中的调度任务配置详情,并进行管理。
背景信息
在DataWorks中,周期任务是按计划自动调度的任务,用户可以通过周期任务管理界面查看所有按计划调度的任务。这些任务既可手动运行也可自动运行:手动运行时可以使用补数据和测试功能生成补数据实例或测试实例,进行特定的数据处理或调试。通过自动调度配置的周期任务会在达到指定条件时自动创建新的周期实例并执行(每晚23:30
会生成第二天待运行的周期实例)。
直接在生产环境变更周期任务的操作一般会反映到变更操作后生成的实例上。大部分周期任务的修改操作将会在下一个自动调度时间点生效(即今天的周期实例是前一晚23:30
生成的),并在预定的时间点执行。而补数据实例是基于当前周期任务配置立即生成的,并在手动触发后立即生效。关于创建、发布、运行、暂停调度和下线等详细运维操作,请参见周期任务基本运维操作。
使用限制
仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。版本升级详情请参见DataWorks版本服务计费说明。
注意事项
进入周期任务页面
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入运维中心。
进入运维中心后,在左侧导航栏,单击 。进入周期任务页面,查看周期任务列表或DAG图。
查看周期任务
周期任务列表展示了提交到调度系统的任务,您可以通过智能搜索和条件筛选两种筛选方式定位所需查看的任务列表。
智能搜索模式
通过周期任务的智能搜索功能,您只需输入搜索内容,系统将自动解析并快速筛选出所需查看的任务列表。
进行智能搜索。
单击周期任务筛选框中的智能搜索按钮,在弹出的对话框中输入您要搜索的内容,例如
按任务类型进行排序
,然后按Enter键确认,系统将自动匹配并显示相关任务。保存新视图。
如果您后续需要使用智能搜索中的任务搜索条件,可以单击搜索栏中的
,在保存视图对话框中自定义视图名称,并单击保存。后续可在视图搜索栏中找到并使用该新视图进行任务搜索。如果您后续不想使用该新视图进行任务搜索,可以在视图搜索栏中找到您创建的视图名称。鼠标悬浮在视图名称上,点击右侧的...按钮,选择编辑或删除视图。
关闭智能搜索。
如果您需要通过条件筛选进行精准搜索,可以按Esc键或点击任务操作栏中的关闭智能搜索按钮退出智能搜索模式。
条件筛选模式
使用周期任务的条件筛选功能,您可以根据提供的筛选条件精准筛选出所需的任务列表。
简单条件筛选。
您可在工具栏中根据任务名称/ID、任务类型、近180天过期、开启被引用等相关信息,依次选择多个筛选条件,筛选出所需查看的任务列表。
复杂条件筛选。
通过单击周期任务筛选框中的筛选按钮,您可以根据任务名称/ID、引擎类型、基线、优先级等多种条件进行组合筛选,从而精确地找到所需的任务列表。
暂停(冻结)节点:冻结状态的任务不会自动调度,并且会阻塞其下游任务运行。即暂停(冻结)的周期任务将产生冻结状态的实例,冻结状态的实例将不会调度运行,并且会阻塞其下游任务运行。
孤立节点:指当前任务没有依赖任何父节点,这类型任务不会自动调度运行,如果该孤立节点下游依赖较多,则会影响下游任务的运行。详情请参见:场景:节点孤立。
过期节点:不在有效期内的节点将不会生成实例,且不会运行。
操作周期任务
单个任务操作
若要操作某个周期任务,请在周期任务列表中找到该任务,并在任务操作栏中使用相应功能进行操作,具体功能说明如下:
功能 | 说明 |
功能 | 说明 | |
DAG图 | DAG图为您展示周期任务的上下游依赖关系,您可以在DAG图中对任务进行相关操作。详情请参见:查看周期任务DAG图。 | |
测试 | 用于测试周期任务的运行是否符合预期,执行测试操作后,将产生测试实例,您可以通过测试实例页面查看此次测试任务的运行情况,详情请参见执行测试并查看测试实例。 测试运行也会生成业务数据,请谨慎操作。 | |
补数据 | 用于对周期任务执行补历史数据或未来时间段数据的操作,执行补数据操作后将产生补数据实例,您可以通过补数据实例页面查看此次补数据任务的运行情况,详情请参见执行补数据并查看补数据实例(新版)。 | |
更多 | 暂停(冻结) | 当任务及其下游任务一段时间内不需要运行时,您可以选择暂停(冻结)任务。 冻结状态的周期任务生成的实例也是冻结状态,冻结状态实例不会执行,并且会阻塞其下游执行。 请勿操作 |
恢复(解冻) | 用于恢复冻结状态的周期任务。 | |
修改责任人 | 用于修改当前任务的责任人。 | |
修改调度资源组 | 用于修改调度任务运行所使用的调度资源组。 | |
修改标签 | 可修改、新增以及解绑该调度任务资产的标签,若需要对标签进行统一管理,请前往标签管理。 | |
配置质量监控 | 用于为当前任务配置质量监控规则,当任务运行时可以对数据进行校验。详情请参见:数据质量概述。 | |
查看实例 | 单击后将跳转至当前任务生成的周期实例页面。 | |
查看血缘 | 用于查看当前任务的血缘信息。 | |
查看周期任务详情 | 用于查看任务的基本属性,相关参数介绍详情请参见:查看节点详情。 | |
添加规则监控 | 用于自定义报警规则,帮助您监控周期任务每日的运行状态。配置完成后,您可以在规则管理。 页面查看此次添加的监控规则。详情请参见: | |
添加到基线监控 | 用于将当前任务添加至基线上,基线使用详情请参见:智能基线概述。 |
批量任务操作
若要批量操作某些周期任务,请在周期任务列表中勾选所需操作的周期任务,并在节点下方对这些节点进行暂停(冻结)、恢复(解冻)等操作。
查看周期任务DAG图
单击周期任务操作栏中的DAG图按钮,即可进入周期任务DAG图详情页面。
DAG面板功能
在周期任务DAG详情页面,您可以通过以下功能在DAG面板中进行节点聚合、下游分析和DAG图显示样式调整。
功能 | 说明 |
功能 | 说明 | |
您可以根据实际需要,单击左上角的这些功能图标,您可通过以下维度对节点信息进行聚合处理。
| ||
当周期任务的数量或层级过多时,您可以使用下游分析功能,统计当前任务影响的下游任务数。 | ||
您可以根据实际需要,单击右上角的这些功能图标,调整DAG图的显示样式。 | ||
DAG操作
在周期任务DAG详情页面,右键单击流程中的节点,即可查看其上下游关系及代码详情等相关信息。具体操作如下:
展开父节点:支持按照层级展开当前任务的上游任务,最多支持展开6级。您可以通过该功能了解哪些任务将影响当前任务的数据产出。
展开子节点:支持按照层级展开当前任务的下游任务,最多支持展开6级。您可以通过该功能了解当前任务将影响哪些任务的数据产出。
查看代码:用于确认生产环境当前任务的代码详情。若不符合预期,请确认当前任务的最新版本是否已经发布成功。生产任务上线请参见:发布任务。
编辑节点:单击后即可跳转至数据开发页面打开当前任务。
其他操作请参考操作周期任务。
查看节点详情
您可以查看任务属性,并展开详情以查看详细属性、上下文参数、操作日志和代码等信息,从而在生产环境中检查调度参数、资源组及代码是否符合预期。具体操作如下:
在周期任务DAG详情页面,左键单击流程中的节点,在弹出的节点信息中单击展开详情,即可在下方页签查看相关信息。
- 本页导读 (1)
- 背景信息
- 使用限制
- 注意事项
- 进入周期任务页面
- 查看周期任务
- 智能搜索模式
- 条件筛选模式
- 操作周期任务
- 单个任务操作
- 批量任务操作
- 查看周期任务DAG图
- DAG面板功能
- DAG操作
- 查看节点详情