周期实例是基于周期任务的调度配置,自动生成的实例快照。您可以通过列表及DAG图的方式,快速查看实例的详细信息并执行相关操作。
使用须知
正常任务:即真实执行代码逻辑的任务,不包括空跑(调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等)与被冻结的任务。
运维环境说明:在标准模式工作空间下,您可通过界面左上角切换开发运维中心和生产运维中心。任务在开发运维中心不会自动调度,即在周期实例面板中不会产生自动调度执行的周期实例。
任务运行与问题定位:
使用限制
版本要求:
仅DataWorks专业版及以上版本用户才可以使用运行诊断功能,目前支持您免费体验,但建议升级至专业版以获取更多产品能力。详情请参见智能诊断。
仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。详情请参见DataWorks版本服务计费说明。
权限管控:
页面检查目标用户是否有运维权限。详情请参见功能限制:
不支持手动删除周期实例,实例在过期后(30天左右)平台将自动删除。如果任务不再需要运行,可以选择冻结实例。
公共调度资源组上执行的任务,其实例保留一个月(30天)、日志保留一周(7天)。
独享调度资源组上执行的任务,其实例、日志保留一个月(30天)。
运行完成状态的实例,当日志大于3M时,平台每天会定时清理。
注意事项
进入周期实例页面
进入运维中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入运维中心。
在左侧导航栏单击
,进入周期实例页面。在该页面,您可通过不同视角查看实例的运行情况。
周期实例视角
查看实例列表
智能搜索模式
通过周期任务的智能搜索功能,您只需输入搜索内容,系统将自动解析并快速筛选出所需查看的实例列表。
进行智能搜索。
单击周期任务筛选框中的智能搜索按钮,在弹出的对话框中输入您要搜索的内容,例如
按实例类型进行排序
,然后按Enter键确认,系统将自动匹配并显示相关实例。保存新视图。
如果您后续需要使用智能搜索中的实例搜索条件,可以单击搜索栏中的
,在保存视图对话框中自定义视图名称,并单击保存。后续可在视图搜索栏中找到并使用该新视图进行实例搜索。如果您后续不想使用该新视图进行实例搜索,可以在视图搜索栏中找到您创建的视图名称。鼠标悬浮在视图名称上,点击右侧的...按钮,选择编辑或删除视图。
关闭智能搜索。
如果您需要通过条件筛选进行精准搜索,可以按Esc键或点击实例操作栏中的关闭智能搜索按钮退出智能搜索模式。
条件筛选模式
使用周期实例的条件筛选功能,您可以根据提供的筛选条件精准筛选出所需的实例列表。
简单条件筛选。
您可在工具栏中根据任务名称/任务ID/实例ID、调度资源组、近24小时产生告警、长时间等待资源等相关信息,依次选择多个筛选条件,筛选出所需查看的实例列表。
复杂条件筛选。
通过单击周期实例筛选框中的筛选按钮,您可以根据任务名称/任务ID/实例ID、调度资源组、运行时间、计算资源名称等多种条件进行组合筛选,从而精确地找到所需的实例列表。
操作周期实例
单个实例操作
若要操作某个周期实例,请在周期实例列表中找到该实例,并在实例操作栏中使用相应功能进行操作,具体功能说明如下:
功能 | 说明 |
功能 | 说明 | |
DAG图 | 展示周期实例的上下游依赖关系,您可在DAG图中进行相关操作。详情请参见附录:DAG图功能介绍。 | |
运行诊断 | 对任务进行全链路分析,当任务运行不符合预期时,可使用该功能定位问题。详情请参见智能诊断。 | |
重跑 | 对运行成功或失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。 | |
更多 | 重跑下游 | 对运行成功或失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。 |
置成功 | 用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。 | |
终止运行 | 用于终止不需要运行的任务,任务终止后,将失败退出。仅支持对状态为等待时间、等待资源和运行中的实例进行终止操作。 | |
暂停(冻结) | 当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞其下游节点执行(下游任务都不会自动调度)。
| |
恢复(解冻) | 用于将冻结状态的实例解冻。
解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。 | |
查看血缘 | 查看当前实例的血缘信息。 | |
查看周期任务详情 | 查看当前实例的基本信息。 | |
查看运行日志 | 任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录:运行日志参数介绍。 | |
修改调度资源组 | 修改当前实例运行所使用的调度资源组。该操作不会同步修改实例所在周期任务的资源组。 |
批量实例操作
若要批量操作某些周期实例,请在周期实例列表中勾选所需操作的周期实例,并在实例下方对这些实例进行批量终止运行、重跑、置成功、修改资源组、暂停(冻结)、恢复(解冻)操作。
查看周期任务DAG图
单击周期实例操作栏中的DAG图按钮,即可进入周期实例DAG图详情页面。
DAG面板功能
在周期实例DAG详情页面,您可以通过以下功能在DAG面板中进行节点聚合、下游分析和DAG图显示样式调整。
功能 | 说明 |
功能 | 说明 | |
您可以根据实际需要,单击左上角的这些功能图标,您可通过以下维度对实例信息进行聚合处理。
| ||
当周期任务的数量或层级过多时,您可以使用上游分析、下游分析功能,统计当前任务影响的上下游任务数。 | ||
您可以根据实际需要,单击右上角的这些功能图标,调整DAG图的显示样式。 | ||
DAG操作
在周期实例DAG详情页面,右键单击流程中的实例,即可查看其上下游关系及代码详情等相关信息。具体操作如下:
展开父节点:查看当前节点的上游任务,用于了解哪些节点将影响当前节点的数据产出。支持按照层级展开父节点,最多支持一次展开6级。
展开子节点:查看当前节点的下游任务,用于了解当前节点将影响哪些节点的数据产出。支持按照层级展开子节点,最多支持一次展开6级。
查看运行日志:任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,详情请参见附录:运行日志参数介绍。
运行诊断:用于对任务上游依赖、定时检查、调度资源、任务运行状态进行诊断检查。
查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。
编辑节点:单击后即可跳转至数据开发页面打开当前节点。
查看血缘:查看当前实例的血缘信息。
查看更多详情:查看实例的基本属性、操作日志、任务代码等信息。
查看周期任务:查看当前实例所属的周期任务信息。
前往任务360:进入数据治理中心,从任务关联的基线列表、实例运行情况等多个维度全景了解任务运行详情,进行任务治理。详情请参见全景查看任务。
终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间、等待资源和运行中的实例进行终止运行操作。
重跑:对运行成功或失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。
重跑下游:对运行成功或失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。
置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。
续跑:用于续跑失败状态的任务,续跑将从任务执行失败的位置继续运行,即当任务中存在多段SQL的情况下,续跑可从具体失败的SQL处重新运行该任务。
仅MaxCompute的SQL任务支持此操作。
触发DQC校验:若任务配置了数据质量规则,则可进行相关规则校验。
紧急操作:紧急操作只对当前节点本次有效。
去除依赖:对指定任务去除依赖,可通过该功能解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,紧急去除任务的上游依赖,使当前任务能够运行。
需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。
修改优先级:实例任务的优先级源于实例所在基线的优先级,您可在此处根据需要重新设置,数值越大,优先级越高。
强制重跑:用于强制重跑当前节点,支持对运行成功、运行失败、未运行的周期实例进行此操作,常用于数据修复。
强制重跑下游:用于重刷业务日期昨天和前天的数据,仅支持对运行成功、运行失败的周期实例进行此操作,常用于数据修复。详情请参见附录:强制重跑下游。
仅工作空间管理员、租户管理员、阿里云主账号可以发起强制重跑下游的操作。
克隆实例:可基于当前运行中状态的实例(宿主实例),生成一个配置相同的新实例(克隆实例)。新实例命名格式为
dw_clone_节点名
。仅支持克隆ODPS SQL类型节点实例,且每个实例只能克隆一次。
宿主实例与克隆实例的执行逻辑:
宿主实例与克隆实例均处于运行中状态。若宿主实例先运行成功,则克隆实例将被停止运行;若克隆实例先运行成功,则宿主实例将被停止运行并置为运行成功状态。
若当前任务的下游任务存在克隆实例,则重跑下游不会触发克隆实例执行。
暂停(冻结):如某实例及其下游实例都不需要运行时,可冻结该实例。
上游实例被冻结,会阻塞下游实例的运行,请谨慎操作。
请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。
等待资源、等待时间、运行中(例如,节点代码运行中、数据质量检验中)状态不支持冻结操作。
恢复(解冻):用于将冻结状态的实例解冻。
如果该实例还未运行,则上游任务运行完毕后,会自动运行。
如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。
解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。
查看实例详情
在实例DAG中,左键单击具体实例,在弹出的窗口中单击查看日志,或展开详情以查看详细属性、运行日志、操作日志和代码等信息。
功能 | 描述 |
功能 | 描述 |
属性 | 您可以在此页签查看任务在生产环境的调度属性。界面参数详情请参见:调度配置。
|
运行日志 | 任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,详情请参见附录:运行日志参数介绍。 |
操作日志 | 用于查看任务或实例的操作记录(时间、操作人、具体操作)。 |
代码 | 用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经成功发布。详情请参见发布任务。 |
业务流程视角
单击周期实例页面的业务流程视角页签,进入业务流程视角运维界面。
业务流程视角下,仅展示业务流程内的依赖,如果存在跨业务流程、工作空间的依赖,您需要切换至周期实例视角进行查看。
查看业务流程列表
功能 | 描述 |
功能 | 描述 |
业务流程运行状态概览 | 业务流程列通过可视化图标为您展示业务流程的运行状态,列表模式中统计正常任务,即不包括空跑类型和冻结类型的任务,DAG面板中将会展示所有类型的任务。
|
业务流程运维操作 | 您可以对业务流程进行如下操作:
|
附录:运行日志参数介绍
任务启动运行后,您可通过运行日志查看任务的运行详情,日志中的核心参数介绍如下。
参数 | 描述 |
参数 | 描述 |
SKYNET_ONDUTY | 任务责任人。 |
SKYNET_PARAVALUE | 调度参数列表。 |
SKYNET_TASKID | 实例ID。 |
SKYNET_ID | 节点ID。 |
SKYNET_NODENAME | 节点名称。 |
SKYNET_APPNAME | 工作空间名称。 |
SKYNET_REGION | 工作空间所在地域。 |
SKYNET_CYCTIME | 节点的定时运行时间。 |
常见问题
实例异常排查
任务未运行排查
空跑
更多常见问题,详情请参见问题汇总。
- 本页导读 (1)
- 使用须知
- 使用限制
- 注意事项
- 进入周期实例页面
- 周期实例视角
- 查看实例列表
- 操作周期实例
- 查看周期任务DAG图
- 业务流程视角
- 查看业务流程列表
- 附录:运行日志参数介绍
- 常见问题