注意事项
周期任务定时生成周期实例,实例会按最新的代码运行任务。如果您的任务在实例生成后修改了代码并重新提交发布,则未运行的实例会拉取最新的代码运行任务。
如果您需要监控任务的执行情况,需要先对该任务设置相应的监控规则,详情请参见智能监控概述。对于配置了监控报警的任务,如果运行失败但您未收到报警信息,请检查是否已在报警联系人页面配置了您的手机号码与邮箱地址,详情请参见报警信息。
首次生成周期实例的时间与您选择的实例生成方式有关,实例生成方式包括T+1次日生成和发布后即时生成,详情请参见实例生成方式。
进入周期实例页面
进入运维中心页面。
在左侧导航栏单击,进入周期实例页面。
在该页面,您可通过不同视角查看实例的运行情况。
周期实例视角
单击,进入周期实例视角运维界面。
查看实例列表
功能 | 描述 |
筛选指定条件的实例(区域1) | 您可通过筛选条件过滤出需要查询的实例。
说明 默认筛选的业务日期是当前时间的前一天。 支持通过实例ID进行过滤,节点ID与实例ID的关系如下: 对于配置了监控报警的实例,您可勾选过去24h产生告警的节点,过滤当前时间点24小时内产生了报警的实例列表。过去24小时内产生过报警的实例,可通过单击该实例DAG图中的告警图标查看报警详情。详情请参见智能监控概述。 筛选条件中的变慢节点表示指定业务日期内运行状态为运行中的实例,同时运行时间大于过去10天平均值15分钟的实例,会被判定为运行慢。如果历史实例数小于4,则运行时间大于半小时的实例会被视为运行慢。
|
查看实例列表(区域2) | 该区域展示满足过滤条件的实例列表,可查看实例的状态、基本信息、运行时间等。 |
操作实例(区域3、4) | 您可对实例执行如下操作: DAG图:展示周期实例的上下游依赖关系,您可在DAG图中进行相关操作。详情请参见附录:DAG图功能介绍。 运行诊断:对任务进行全链路分析,当任务运行不符合预期时,可使用该功能定位问题。详情请参见智能诊断。 重跑:对运行成功或失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。 更多: 重跑下游:对运行成功或失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间、等待资源和运行中的实例进行终止运行操作。 暂停(冻结):当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例,且正在运行中的实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞它的下游节点执行(下游任务都不会自动调度)。 恢复(解冻):用于将冻结状态的实例解冻。
说明 解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。 查看血缘:查看当前实例的血缘信息。 查看周期任务详情:查看当前实例的基本信息。 查看运行日志:任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍。 修改调度资源组:修改当前实例运行所使用的调度资源组。该操作不会同步修改实例所在周期任务的资源组。
批量操作:若需要操作的实例较多,可在实例列表勾选相应实例,并在页面底部按需执行批量终止运行、重跑等操作。
|
查看实例DAG
说明 DAG图中同周期依赖的节点以实线的形式展示,跨周期依赖的节点都会以虚线的形式展示。详情请参见依赖关系。
功能 | 描述 |
DAG面板功能 | 单击任务后的DAG图,打开该任务的DAG图。您可在图中的1、2、3区域进行节点聚合、上下游分析、调整界面显示等操作,详情请参见DAG图功能介绍。 |
操作单个实例 | 右键单击目标实例,即可执行如下操作: 展开父节点:查看当前节点的上游任务,用于了解哪些节点将影响当前节点的数据产出。支持按照层级展开父节点,最多支持一次展开6级。
展开子节点:查看当前节点的下游任务,用于了解当前节点将影响哪些节点的数据产出。支持按照层级展开子节点,最多支持一次展开6级。 查看运行日志:任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍。 查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。 编辑节点:单击后即可跳转至数据开发页面打开当前节点。 查看血缘:查看当前实例的血缘信息。 查看更多详情:查看实例的基本属性、操作日志、任务代码等信息。 查看周期任务:查看当前实例所属的周期任务信息。 前往任务360:进入数据治理中心,从任务关联的基线列表、实例运行情况等多个维度全景了解任务运行详情,进行任务治理。详情请参见全景查看任务。 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。仅支持对状态为等待时间、等待资源和运行中的实例进行终止运行操作。 重跑:对运行成功或失败状态的任务进行重跑,当任务执行成功后,可触发下游未运行任务的调度执行。常用于处理出错节点和漏跑节点。 重跑下游:对运行成功或失败状态的任务进行重跑下游节点。您可自行选择需要重跑的下游任务,任务执行成功后可触发下游未运行状态任务的调度。常用于处理数据修复。 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。 续跑:用于续跑失败状态的任务,续跑将从任务执行失败的位置继续运行,即当任务中存在多段sql的情况下,续跑可从具体失败的sql处重新运行该任务。 触发DQC校验:若任务配置了数据质量规则,则可进行相关规则校验。 紧急操作:紧急操作只对当前节点本次有效。 去除依赖:对指定任务去除依赖,可通过该功能解除当前节点的依赖关系。常用于上游失败并与此实例没有数据关系时,紧急去除任务的上游依赖,使当前任务能够运行起来。
说明 需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。 修改优先级:实例任务的优先级源于实例所在基线的优先级,您可在此处根据需要重新设置,数值越大,优先级越高。 强制重跑:用于强制重跑当前节点,支持对运行成功、运行失败、未运行的周期实例进行此操作,常用于数据修复。 强制重跑下游:用于重刷业务日期昨天和前天的数据,仅支持对运行成功、运行失败的周期实例进行此操作,常用于数据修复。详情请参见附录:强制重跑下游。
说明 仅工作空间管理员、租户管理员、阿里云主账号可以发起强制重跑下游的操作。 克隆实例:可基于当前运行中状态的实例(宿主实例),生成一个配置相同的新实例(克隆实例)。新实例命名格式为dw_clone_节点名 。
暂停(冻结):当前实例及其下游实例都不需要执行的时候,可选择使用此功能。周期实例中的冻结只针对当前实例,且正在运行中的实例。冻结的周期实例不自动调度运行(不会真实跑数据),并且会阻塞它的下游节点执行(下游任务都不会自动调度)。 恢复(解冻):用于将冻结状态的实例解冻。
说明 解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。
|
查看单个实例详情 | 在上图的模块4区域。您可以进行如下操作: |
业务流程视角
单击,进入业务流程视角运维界面。
说明 业务流程视角下,仅展示业务流程内的依赖,如果存在跨业务流程、工作空间的依赖,您需要切换至周期实例视角进行查看。
查看业务流程列表
功能 | 描述 |
业务流程运行状态概览 | 业务流程列通过可视化图标为您展示业务流程的运行状态,列表模式中统计正常任务,即不包括空跑类型和冻结类型的任务,DAG面板中将会展示所有类型的任务。 :当前业务流程下,运行中状态的实例个数。 :当前业务流程下,运行成功的实例个数。 :当前业务流程下,运行失败的实例个数。 :当前业务流程下,非上述状态的实例个数。
|
业务流程运维操作 | 您可以对业务流程进行如下操作: DAG图:用于查看该业务流程DAG图。业务流程视角下,将默认对该业务流程下的小时分钟任务进行成组展示,业务流程视角下单个实例的操作与周期实例视角的操作一致。详情请参见周期实例DAG。 重跑:用于重跑当前业务流程下所有任务或指定任务。 终止运行:用于终止当前运行中的业务流程。 冻结:用于冻结当前业务流程的运行,冻结后该业务流程下的实例将不会执行。 解冻:用于对冻结状态的业务流程进行解冻操作,解冻后将默认业务流程为失败状态,您可重跑该业务流程。 置成功:用于置成功当前业务流程,置成功后业务流程下的节点将显示为成功状态。
|
附录一:查看实例详情
功能 | 描述 |
属性 | 您可以在此页签查看任务在生产环境的调度属性。界面参数详情请参见:调度配置。 节点ID和实例ID的关系: 对于小时或分钟调度的节点任务,您可基于节点ID定位该节点当天生成的所有小时或分钟实例,若要定位到某个具体的小时或分钟实例,您可通过实例ID进行精准定位。 任务状态:任务状态与任务运行有关,若任务处于未运行、等待时间、等待资源、冻结等状态时,您可以通过运行诊断来快速定位问题。 等待资源耗时:当任务出现长时间等待资源的情况,您可以使用运行诊断功能定位当前任务运行时,哪些任务在占用资源,快速找到异常任务进行排查。 运行时长:当任务运行时间与历史运行情况相比明显变长,您可参考以下场景进行处理。 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理。
说明 此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理。 标签:此处展示您在标签管理中自定义的标签,如果当前节点存在待治理问题,也会以标签形式展示,您可以前往数据治理中心查看详情。
|
上下文 | 为您展示当前任务的所有输入参数和输出参数,详情请参见配置节点上下文。 |
运行日志 | 任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍。 |
操作日志 | 用于查看任务或实例的操作记录(时间、操作人、具体操作)。 |
代码 | 用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经发布成功。详情请参见发布任务。 |
附录二:运行日志参数介绍
任务启动运行后,您可通过运行日志查看任务的运行详情,日志中的核心参数介绍如下。
参数 | 描述 |
SKYNET_ONDUTY | 任务责任人。 |
SKYNET_PARAVALUE | 调度参数列表。 |
SKYNET_TASKID | 实例ID。 |
SKYNET_ID | 节点ID。 |
SKYNET_NODENAME | 节点名称。 |
SKYNET_APPNAME | 工作空间名称。 |
SKYNET_REGION | 工作空间所在地域。 |
SKYNET_CYCTIME | 节点的定时运行时间。 |