本文为您介绍等待资源的相关问题。

为什么会出现等待资源?

  • 问题现象
    调度将任务下发到对应执行引擎上,此过程可能会出现以下等待资源问题:
    • 等待调度资源组。
    • 数据集成任务等待数据集成资源。
    • 计算任务等待引擎计算资源。
  • 产生原因

    资源组下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行,关于任务下发机制,详情请参见:DataWorks资源组概述

为什么任务一直在等待gateway调度资源?

  • 问题现象

    任务日志中显示等待gateway调度资源。

  • 产生原因

    当前资源组里的任务并发数达到上限。

  • 解决措施
    需要等待运行中的任务执行完成释放资源,或者对独享调度资源组进行扩容。您可以通过以下方式查看资源信息。
    • 使用公共调度资源组,您可以在运维中心运维大屏页面,查看公共资源组使用率。
      说明 每天0点~9点是DataWorks的任务高峰期,公共调度资源紧张,可能出现任务等待资源的情况。 您可以错峰运行调度任务或者在DataWorks控制台添加独享调度资源组缓解资源紧张情况。
    • 使用独享调度资源组,您可以通过DataWorks控制台或者运维中心查看该资源组当前执行的任务列表及资源水位。
      • 通过DataWorks控制台查看资源使用情况。
        DataWorks控制台的左侧导航栏,单击资源组列表,在资源组列表页面查看资源使用率,单击使用率查看资源组信息资源使用率等。使用率
      • 通过运维中心查看资源使用情况。
        运维中心页面的左侧导航栏,单击资源运维,查看资源的使用率等信息。资源运维
        智能诊断可以查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用资源。资源运行情况
        等待资源的实例节点,右键选择运行诊断 > 调度资源,查看当前任务运行状态等待资源时,仍在运行的任务。诊断资源
        说明 不同规格的独享调度资源组支持同时跑的最大实例数不同,详情请参考独享调度资源组的性能指标和计费标准

为什么数据集成任务一直显示wait?

  • 问题现象

    数据集成任务日志中显示wait。

  • 产生原因

    当前数据集成资源组上执行的任务超过了机器支持的并发上限,任务在等待数据集成执行资源。

  • 解决措施
    • 检查日志(任务配置)中concurrent参数值,如果并发任务设置过大,需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。
    • 如果单个任务并发设置超过了机器支持的最大并发数,请将这些并发任务全部停掉,修改任务并发数后再去执行。
      运维中心页面左侧导航栏,单击运维大屏,在运维大屏页面的数据集成页签,查看同步任务执行详情同步任务执行详情同步任务执行详情
      说明
      • 任务并发配置需要结合机器支持的最大并发数,以及需要同时运行的任务数及并发和来分配单个任务并发数配置。
      • 一个数据集成任务将占用一个调度资源,若任务长时间未运行成功,可能将阻塞其他任务运行。
    • 等待运行中的任务执行完成释放资源,或者对独享数据集成资源组进行扩容。您可以通过以下方式查看资源信息。
      • 通过DataWorks控制台查看资源使用情况。
        DataWorks控制台的左侧导航栏,单击资源组列表,在资源组列表页面查看资源使用率,单击使用率查看资源组信息资源使用率等。使用率
      • 通过运维中心查看资源使用情况。
        运维中心页面的左侧导航栏,单击资源运维,查看资源的使用率和运行中的任务等信息。资源运维
        说明 不同规格的独享数据集成资源组支持同时跑的最大实例数不同,详情请参考:独享数据集成资源组的性能指标和计费标准