文档

Dataphin中周期任务在运行时为何会出现等待资源问题

更新时间:
一键部署

概述

通过扩充资源来解决任务高并发时出现得资源等待问题。

问题描述

夜间周期性任务出现高并发时,运行过程中有些任务会出现等待资源问题,原本只需要几十秒的任务,有时需要20多分钟,为什么会出现这种情况?是否有改善的方案?

问题原因

任务会出现等待资源问题是由于mesos资源分配不足导致的。

解决方案

需要分配的资源已经接近了total资源,需要扩充资源。

实例运行时,Dataphin需要每个实例分配的slot,参考下图中任务默认资源分配方式与mesos集群配置,比如一个Shell任务需要0.4cpu+1280M mem ,mesos资源中有57 C,254G,按照1个slot 0.4 cpu+1280M计算,mesos资源可以分配 142个slot ,也就是并行142个Shell任务。

mesos集群的配置:

适用于

  • 产品名称:Dataphin
  • 产品模块:周期调度
  • 本页导读
文档反馈