阿里云首页

Dataphin中周期任务在运行时为何会出现等待资源问题

产品名称

Dataphin

产品模块

周期调度

概述

通过扩充资源来解决任务高并发时出现得资源等待问题

问题描述

夜间周期性任务出现高并发时,运行过程中有些任务会出现等待资源问题,原本只需要几十秒的任务,有时需要20多分钟,为什么会出现这种情况?是否有改善的方案?

问题原因

任务会出现等待资源问题是由于mesos资源分配不足导致的。

解决方案

需要分配的资源已经接近了total资源,需要扩充资源。

实例运行时,Dataphin需要每个实例分配的slot,参考下图中任务默认资源分配方式与mesos集群配置,比如一个shell任务需要0.4cpu+1280M mem ,mesos资源中有57 C ,254G,按照1个slot 0.4 cpu+1280M计算,mesos资源可以分配 142个slot ,也就是并行142个shell任务。

mesos集群的配置:

 

更多信息

NA

相关文档

NA

首页 Dataphin中周期任务在运行时为何会出现等待资源问题