周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在周期任务页面通过列表及DAG图的方式,快速查看任务的详细信息并执行相关操作。

背景信息

  • 周期任务的创建、发布、运行、暂停调度、下线等任务运维操作说明详情请参见:周期任务运维概述。
  • DataWorks每晚会根据周期任务自动生成第二天待运行的周期实例,同时支持您手动触发周期任务,分别生成补数据实例测试实例,您可以通过生成的实例查看任务的运行详情。

使用限制

仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。版本升级详情请参见版本服务计费说明

注意事项

  • 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。
  • 任务的变更均需执行发布操作,发布成功后该变更才会在生产环境中生效。发布时可能存在发布失败、发布流程被阻塞或发布版本不符合预期等情况,因此,建议您在任务发布后,进入运维中心 > 周期任务界面进行排查:
    • 通过DAG图查看任务的上下游依赖关系是否正确。
    • 通过节点详情查看生产环境中该任务的参数配置等是否符合预期。

进入周期任务页面

  1. 登录DataWorks控制台
  2. 在左侧导航栏,单击工作空间列表
  3. 选择工作空间所在地域后,单击相应工作空间后操作列的更多图标,选择运维中心
  4. 进入运维中心后,在左侧导航栏,单击周期任务运维 > 周期任务。进入周期任务页面,查看周期任务列表或DAG图。

查看周期任务列表

周期任务列表为您展示任务提交到调度系统后的调度任务列表,您可以对任务进行相关的运维操作。周期任务列表
操作 描述
筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。
您可以根据节点名称节点ID解决方案业务流程节点类型责任人Region调度资源组引擎类型引擎实例基线我的节点今日修改的节点暂停(冻结)节点孤立节点过期节点等条件进行精确筛选。
说明
  • 暂停(冻结)节点:冻结状态的任务不会自动调度,并且会阻塞其下游任务运行。即暂停(冻结)的周期任务将产生冻结状态的实例,冻结状态的实例将不会调度运行,并且会阻塞其下游任务运行。
  • 孤立节点:指当前任务没有依赖任何父节点,这类型任务不会自动调度运行,如果该孤立节点下游依赖较多,则会影响下游任务的运行。详情请参见:孤立节点
  • 过期节点:不在有效期内的节点将不会生成实例,且不会运行。
任务列表 在上图的模块②区域,以列表方式为您展示满足过滤条件的周期任务。
单个任务操作 在上图的模块③区域,您可以对周期任务进行如下操作:
  • DAG图:DAG图为您展示周期任务的上下游依赖关系,您可以在DAG图中对任务进行相关操作。详情请参见:查看周期任务DAG图
  • 测试:用于测试周期任务的运行是否符合预期,执行测试操作后,将产生测试实例,您可以通过测试实例页面查看此次测试任务的运行情况,详情请参见查看测试实例
    说明 测试会真实跑数据,请谨慎操作。
  • 补数据:用于对周期任务执行补历史数据或未来时间段数据的操作,执行补数据操作后将产生补数据实例,您可以通过补数据实例页面查看此次补数据任务的运行情况,详情请参见查看补数据实例
  • 更多
    • 暂停(冻结):当任务及其下游任务一段时间内不需要运行时,您可以选择暂停(冻结)任务。
      说明 请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。
    • 恢复(解冻):用于恢复冻结状态的周期任务。
    • 查看实例:单击后将跳转至当前任务生成的周期实例页面。
    • 添加报警:用于自定义报警规则,帮助您监控周期任务每日的运行状态。配置完成后,您可以在智能监控 > 规则管理页面查看此次添加的监控规则。详情请参见:自定义规则
    • 修改责任人:用于修改当前任务的责任人。
    • 添加到基线:用于将当前任务添加至基线上,基线使用详情请参见:智能基线概述
    • 修改调度资源组:用于修改调度任务运行所使用的调度资源组。
    • 配置质量监控:用于为当前任务配置质量监控规则,当任务运行时可以对数据进行校验。详情请参见:数据质量概述
    • 查看血缘:用于查看当前任务的血缘信息。
    • 单击查看节点详情,用于查看任务的基本属性,相关参数介绍详情请参见:查看节点详情
批量操作 在上图的模块④区域,您可以批量选择任务,进行修改责任人修改调度资源组修改数据集成资源组暂停(冻结)恢复(解冻)添加报警添加到基线下线节点等操作。
每页条数展示 在上图的模块⑤区域,您可以修改每页展示的条数,最大支持每页展示200条。

查看周期任务DAG图

在列表模式下单击周期任务名称或操作栏中的DAG图,即可打开该任务的DAG图,DAG图默认展示当前任务的一层父节点和一层子节点,您可以通过DAG图面板的菜单栏查看更多的上下游依赖,同时支持您右键单击任务进行相关操作。周期任务
功能 描述
DAG面板功能 在上图的模块①区域,支持您对DAG图进行节点聚合下游分析调整DAG图显示样式的操作。详情请参见:DAG图功能介绍
  • 节点聚合:支持您按任务状态、所属工作空间、责任人、优先级等维度进行任务聚合。
  • 下游分析:当周期任务的数量或层级过多时,您可以进行下游分析功能,统计当前任务影响的下游任务数。
  • 调整DAG图显示样式:您可以根据实际需要,单击右上角的功能图标,调整DAG图的显示样式。
单个任务操作 在上图的模块②区域,您可以对目标任务执行相关操作。
  • 展开父节点:支持按照层级展开当前任务的上游任务,最多支持展开6级。您可以通过该功能知道哪些任务将影响当前任务的数据产出。
  • 展开子节点:支持按照层级展开当前任务的下游任务,最多支持展开6级。您可以通过该功能知道当前任务将影响哪些任务的数据产出。
  • 查看代码:用于确认生产环境当前任务的代码详情。若不符合预期,请确认当前任务的最新版本是否已经发布成功。生产任务上线请参见:发布任务
  • 编辑节点:单击后即可跳转至数据开发页面打开当前任务。
说明 其他操作请参考查看周期任务列表
单个任务详情 在上图的模块5区域。您可以查看任务属性,并可以单击展开详情查看当前任务的详细属性、上下文参数、操作日志、代码等信息,详情请参见:查看节点详情

查看节点详情

支持您查看生产环境中周期任务的属性(调度参数、所使用的资源组等)及代码是否符合预期。

2
功能 描述
属性 您可以查看任务在生产环境的调度属性。界面参数详情请参见:调度配置
说明 当数据开发界面与生成运维中心周期任务界面的参数配置不一致时,建议您优先确认任务变更后,是否发布成功。
上下文 为您展示当前任务的输入参数和输出参数,上下文功能相关介绍详情请参见:配置节点上下文
操作日志 用于查看任务的操作记录,包括:操作时间、操作人、具体操作等。
代码 用于查看生产环境当前任务的最新代码。当代码不符合预期时,请确认任务的最新版本是否已经发布成功。详情请参见:发布任务