管理集成和计算任务实例

集成和计算任务实例是周期集成和计算任务按照定时调度时间运行生成的实例数据。后续您可以对集成和计算任务实例进行运维操作,支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理集成和计算任务实例。

前提条件

已购买智能运维增值服务并且当前租户已开通智能运维模块后,方可查看甘特图。

集成和计算任务实例页面入口

  1. Dataphin首页的顶部菜单栏,选择研发 > 任务运维

  2. 在左侧导航栏中选择实例运维 > 周期实例

  3. 在顶部菜单栏选择生产或开发环境。

  4. 周期实例页面,单击集成和计算任务页签。

集成和计算任务实例列表支持的操作

周期集成和计算任务生成集成和计算任务实例后,将在周期实例 > 集成和计算任务列表为您展示。列表中展示当前实例对象、实例ID、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、优先级、运维负责人、项目、相关基线实例、调度资源组及支持的操作。

  • 实例对象:运行一个周期任务得到一个周期实例对象。展示实例对象的名称和ID,并标识任务的调度方式。可单击列名旁的image.png图标,根据对象名称进行升序或降序排序。更多信息,请参见周期实例运行状态说明

  • 运行状态:该实例目前的运行状态包括:成功、失败、运行中、等待调度时间、限流中、等待调度资源、未运行。各状态标识及详情,请参见周期实例运行状态说明

  • 开始运行时间:实例开始运行时的时间,单击列名旁的image.png图标,按照开始运行时间进行升序或降序排序。

    说明

    逻辑表节点的开始运行时间,为实例对象最早开始运行的内部物化节点对应的时间。

  • 结束运行时间:实例结束运行时的时间,单击列名旁的image.png图标,按照结束运行时间进行升序或降序排序。

    说明

    逻辑表节点的结束运行时间,为实例对象最晚结束运行的内部物化节点对应的时间。

  • 重试次数/自动重试次数:实例运行重试次数/自动重试次数,其中重试次数=运行次数-1

  • 运行时长:实例开始运行到结束运行时的总时长,单击列名旁的image.png图标,按照运行时长进行升序或降序排序。

    说明

    逻辑表节点的运行时长,为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。

  • 优先级:实例所属的优先等级。

    说明

    若已开通基线功能,基线任务取所有基线中最高的作为优先级,覆盖原有配置的任务优先级。

  • 项目:任务所属的项目,展示格式为项目英文名(项目中文名)

  • 相关基线实例:作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

    说明

    若未开通基线功能,则不展示该字段信息。

  • 调度资源组:任务指定的实例运行时使用的调度资源组名称。

    如果任务指定的自定义资源组非可用状态,将自动替换为使用项目默认资源组;如果项目默认资源组非可用状态,将自动替换为使用租户默认资源组。即自定义资源组>项目默认资源组>租户默认资源组

    说明

    进行更换项目默认资源组操作时,此处展示更新可能会存在延迟。但实际执行将使用修改后的资源组。

    租户默认资源组:不归属任何项目,一个Dataphin实例只有一个默认资源组,任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时,会使用租户默认资源组来调度。

集成和计算任务实例列表支持的操作如下。

操作

描述

DAG

单击image图标,可查看该周期实例的DAG图。更多信息,请参见周期实例DAG

查看运行日志

单击image图标,可查看该周期实例运行日志信息。不同类型的周期实例运行日志信息不同,具体以实际运行日志信息为准。

重跑

单击image图标,可重跑该周期实例。重跑操作仅支持重跑运行状态为成功失败的集成和计算任务实例。执行重跑操作时,会校验当前实例节点的上游节点的运行状态是否全部为成功,如果校验不成功则当前实例的运行状态将直接被置为未运行

如果业务场景需要执行重跑操作,您可以执行强制重跑。

查看甘特图

单击image图标,选择查看甘特图,打开查看甘特图对话框并配置以下参数。

  • 选中节点作为:可选择将当前节点作为开始节点结束节点。当选择开始节点时,下方开始节点中默认选择当前节点,不可修改;选择结束节点时同理。

  • 开始节点:选择甘特图的开始节点,支持按照节点关键字搜索,列表中可选节点的格式为 {节点名称}({节点 ID,{实例定时运行时间}})。当选中节点作为结束节点时,开始节点默认为租户根节点。

    说明

    小时和分钟任务存在多个节点(每一个实例为一个节点),各节点间使用实例定时运行时间进行区分。

  • 结束节点:选择甘特图的结束节点,支持按照节点关键字搜索,列表中可选节点的格式为 {节点名称}({节点 ID,{实例定时运行时间}})

    说明

    当结束节点选择逻辑表时,因逻辑表作为一个整体,所以暂不支持选择字段。

甘特图详细说明请参见查看关键路径甘特图

查看节点代码

单击image图标,选择查看节点代码,可查看当前实例的节点代码。在Flink_SQL集成和计算任务实例下您可单击逻辑代码或物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在Flink引擎上运行的代码。

周期任务

单击image图标,选择周期任务,可查看当前实例所属的周期任务。

编辑开发节点

单击image图标,选择编辑开发节点,跳转到该实例的开发页面,您可对该实例进行修改。

说明

Dev-Prod模式项目空间的集成和计算任务实例支持编辑开发节点。

查看生产节点

单击image图标,选择编辑生产节点,跳转到该实例的生产页面。

说明

Dev-Prod模式项目空间的集成和计算任务实例支持查看开发节点。

编辑节点

单击image图标,选择编辑节点,通过集成和计算任务实例列表区或DAG图进入Basic项目中,编辑生成集成和计算任务实例的集成和计算任务。

说明

Basic模式项目空间的集成和计算任务实例支持编辑节点。

重跑下游

单击image图标,选择重跑下游,将重跑该实例的下游节点。重跑下游仅支持重跑运行状态为成功失败集成和计算任务实例的下游节点。下游运行状态为等待中(等待调度时间、等待调度资源)运行中的实例无法被重跑。具体操作,请参见重跑下游

如果需全链路重跑,建议您使用强制重跑下游实例。具体操作,请参见强制重跑下游实例

重跑下游操作多用于如下场景:

  • 当前实例节点的数据更新后,需要同步更新下游节点数据。

  • 实例下游节点运行失败后,需重跑下游节点。

置成功继续调度

单击image图标,选择置成功继续调度,可将运行失败未运行的集成和计算任务实例节点手动置运行成功,继续参与调度。单击置成功继续调度,并在置成功继续调度提示对话框中单击确定,即可完成设置。

终止

单击image图标,选择终止,终止当前运行的实例。终止后实例的运行状态变更为失败。当前实例节点终止运行后,该节点的下游节点也不会运行。

说明

成功失败未运行状态的实例不支持终止,其他状态的实例均支持进行终止操作。

终止操作多用于如下场景:

  • 由于Dataphin异常或操作失误,需要终止集成和计算任务实例。

  • 集成和计算任务实例显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。

强制重跑

单击image图标,选择强制重跑后,选择强制重跑当前实例强制重跑下游实例

  • 强制重跑当前实例:强制重跑时间不校验上游节点的运行状态。如果上游节点没有全部运行成功,则当前实例可能重跑失败或数据错误,请您谨慎操作。强制重跑当前集成和计算任务实例后,当前集成和计算任务实例的数据更新。

  • 强制重跑下游实例:执行强制重跑下游操作后,所有实例会先被置为未运行状态,防止上游重跑的同时下游也在运行造成的数据错乱。仅起点不针对上游依赖和定时运行时间进行校验,下游节点仍需要遵循依赖关系及实例起调条件的限制。具体操作,请参见强制重跑下游实例

    关于实例起调条件的说明,更多信息,请参见依赖关系及运行说明

重要

强制重跑不会校验上游是否全部运行成功以及是否到达当前实例的定时运行时间,存在运行失败或产生数据质量问题的风险,请确认对下游数据无影响后再进行操作。

去除上游戏依赖

单击image图标,选择去除上游依赖,可去除所有运行状态的集成和计算任务实例的上游依赖。

重要

需至少保留一个上游实例。

暂停

单击image图标,选择暂停,暂停当前运行的实例。暂停当前集成和计算任务实例后,不影响生成该集成和计算任务实例的集成和计算任务对应的其他实例的运行。暂停后,当前集成和计算任务实例节点及下游依赖实例节点均不调度。

说明
  • 未运行等待调度时间限流中的实例支持暂停。

  • 暂停操作多用于资源紧张,需要先暂停低优先级的实例保证高优任务先运行。

恢复

单击image图标,选择恢复,可恢复已暂停的集成和计算任务实例节点。恢复后,当前集成和计算任务实例节点及下游实例节点正常调度。

修改调度资源组

单击image图标,选择修改调度资源组,可修改实例运行时使用的调度资源组。

说明
  • 选择多个项目下的任务时,目标调度资源组仅列举这些项目均被授权共有的调度资源组。建议先筛选单个项目后,再批量设置。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。

修改优先级

单击image图标,选择修改优先级,在修改优先级对话框中修改当前任务的优先级,可选择最高最低

集成和计算任务实例DAG节点支持的操作

DAG图清晰地为您展示实例节点的上下游依赖关系,同时系统支持对上下游实例节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中集成和计算任务实例节点,您可以对实例进行相关的运维操作。

Dataphin支持跨项目实例节点的运维管理。对跨项目的实例集成和计算任务节点进行运维操作时,需要具备实例所在项目的查看及操作权限。

  • DAG图支持的操作

    操作

    描述

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

    查看任务

    进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,详情请参见周期任务。

    查看操作日志

    查看该实例进行相关操作的日志信息。

  • DAG节点支持的操作

    集成和计算任务实例DAG节点支持的操作与集成和计算任务实例列表支持的操作相同。更多信息,请参见集成和计算任务实例列表支持的操作

集成和计算任务实例批量操作

周期集成和计算任务支持的批量操作说明如下:

操作

描述

重跑

  • 成功失败状态的实例支持重跑。

  • 如果选中的实例中没有成功失败状态的实例,则不支持批量重跑操作;选中的实例存在成功失败状态和其他状态的实例时,系统仅执行状态为成功失败状态的实例。

终止

  • 成功失败未运行状态的实例不支持终止,其他状态实例均支持进行终止操作。

  • 如果选中的实例中只存在成功失败未运行状态的实例,则不支持批量终止操作;选中的实例存在成功失败未运行状态和其他状态的实例时,系统不执行状态为成功失败未运行状态的实例。

置成功继续调度

选中多个实例后,可批量将运行失败未运行的集成和计算任务实例节点手动置运行成功,继续参与调度。

暂停

  • 未运行等待调度时间限流中状态的实例支持暂停。

  • 如果选中的实例中没有未运行等待调度时间限流中状态的实例,则不支持批量暂停操作;选中的实例存在未运行等待调度时间限流中状态和其他状态的实例时,系统仅执行状态为未运行等待调度时间限流中状态的实例。

恢复

批量恢复暂停中的周期实例。

修改调度资源组

可修改实例运行时使用的调度资源组。

说明
  • 仅生产环境项目下的实例可修改调度资源组。

  • 修改后仅影响当前实例,对所属任务其他实例均无影响。

修改优先级

批量修改所选中实例的优先级,可选择最高最低

下载所有

下载所有周期实例(包括集成和计算任务实例以及建模任务实例)数据至本地,下载文件为.xlsx格式,名称格式为Dataphin周期实例_{时间戳}.xlsx

表格中包含实例对象、实例ID、运行状态、调度周期、业务日期、优先级、运维负责人、项目(汇总逻辑表存在多个项目,各项目间使用逗号(,)分隔)、定时运行时间、开始运行时间、结束运行时间、运行时长、重试次数/自动重试次数、相关基线实例(实例所涉及到的基线名称,多个名称间使用逗号(,)分隔)和调度资源组(建模任务实例下,此参数为空值)信息。

重跑下游

  1. 重跑下游对话框中,配置参数。

    说明

    下游运行状态为等待中运行中的实例无法被重跑。如果需全链路重跑,建议您选择强制重跑下游实例。具体操作,请参见强制重跑下游实例

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

    • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

    • 正常运行:正常调度。

    下游重跑范围

    选择重跑下游节点的范围,详细说明如下:

    • 所有失败实例:不展示具体的下游列表,系统自动筛选所有运行状态为失败的下游实例进行重跑。

    • 自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定

  3. 重跑下游后,下游实例节点数据更新。

强制重跑下游实例

  1. 强制重跑下游对话框中,配置重跑参数。

    参数

    描述

    起点运行方式

    定义起始节点的运行方式。支持选择空跑运行和正常运行,详细说明如下:

    • 空跑运行:空跑的实例状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。

    • 正常运行:正常调度。

    下游强制重跑范围

    选择强制重跑下游节点的范围,详细说明如下:

    • 所有实例:一键选中起始节点的下游所有的实例节点。

    • 自定义配置:如果您需要自定义指定重跑的下游,可以选择自定义配置,支持按照节点名称或ID进行搜索,也可以通过运行状态、运维负责人及所属项目进行筛选。

  2. 单击确定,即可完成设置。