Dataphin中周期任务在运行时为何会出现等待资源问题
更新时间:
概述
通过扩充资源来解决任务高并发时出现得资源等待问题。
问题描述
夜间周期性任务出现高并发时,运行过程中有些任务会出现等待资源问题,原本只需要几十秒的任务,有时需要20多分钟,为什么会出现这种情况?是否有改善的方案?
问题原因
任务会出现等待资源问题是由于mesos资源分配不足导致的。
解决方案
需要分配的资源已经接近了total资源,需要扩充资源。
实例运行时,Dataphin需要每个实例分配的slot,参考下图中任务默认资源分配方式与mesos集群配置,比如一个Shell任务需要0.4cpu+1280M mem
,mesos资源中有57 C,254G,按照1个slot 0.4 cpu+1280M
计算,mesos资源可以分配 142个slot ,也就是并行142个Shell任务。
mesos集群的配置:
适用于
- 产品名称:Dataphin
- 产品模块:周期调度
反馈
- 本页导读
文档反馈