查看调度资源大盘

前提条件

• 请联系Dataphin部署团队部署Prometheus监控并采集监控数据，才可正常使用调度资源大盘。

• 元仓租户下管理中心>资源设置调度资源大盘开关已开启。操作详情请参见资源监控。

功能说明

• 调度资源大盘从资源分配和资源消耗两个视角为您提供Dataphin集群调度资源的统计分析，核心关注CPU和内存两个指标。此外，针对资源利用率较低可能造成资源浪费、或利用率过高可能产生内存溢出等风险的任务，通过待优化任务列表进行展示，便于您及时发现并处理，增强平台稳定性并减少资源成本消耗。

• 资源大盘共有三个模块（资源分配、资源消耗和建议优化任务），您可以通过查看当前最新快照值，快速定位占用资源较多导致任务堆积的阻塞任务并及时处理；也可以根据一段时间内的趋势变化，判断是否有优化空间，以提升资源利用率。

数据统计范围

关于调度资源大盘的数据统计频率和数据统计范围说明如下：

• 数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。

• 数据统计范围：

  • 全局资源消耗和全局资源分配：统计当前租户所有运行环境下所有任务实例对应的分配值和消耗值。

  • 建议优化任务：仅统计生产环境（Basic和Prod项目）中，独享运行容器的周期任务（不包括共享容器的SQL任务及代码模板任务）。

调度资源大盘入口

1. 在Dataphin首页，单击顶部菜单栏的研发，再单击运维，进入运维中心。

2. 进入运维中心后，单击左侧导航栏调度资源大盘，进入调度资源大盘页面。

   

全局资源分配

全局资源分配为您展示当前统计时间节点对应的CPU、内存分配值占资源总量的比例以及历史资源分配趋势图。

全局资源分配指标释义

全局资源分配的指标释义如下表所示。

在资源分配趋势图中，您可以快捷选中最近3小时、6小时、12小时、24小时、3天和7天时间段，查看资源分配趋势。资源分配趋势图的横轴按照选中的开始和结束时间，并均匀展示对应的时间点；纵轴资源分配率，固定为0%、20%、40%、60%、80%、100%。同时您将鼠标悬停至某时间点时显示当前时间点的CPU分配值、CPU分配率、内存分配值和内存分配率。

全局资源分配优化建议

建议您着重关注CPU分配率和内存分配率，优化建议如下：

• 当资源分配率持续较低时，可能大部分资源未被利用，会造成浪费。您可以考虑降低资源总量，以节省成本。

• 当分配率持续过高时，可能出现任务因等待资源而延迟运行，或内存不足而运行失败的情况。您需要考虑增加资源总量。

全局资源消耗

全局资源消耗为您展示全局任务实际消耗的资源和预分配资源的对比及波动趋势。

消耗值和分配值相差较大时，建议您已通过优化任务列表查询消耗率过低的任务，调整资源配置以提升整体资源利用率。详细说明如下：

• 如果持续一段时间内整体资源消耗值和分配值相差较大，建议您查看建议优化的任务明细，适当降低部分任务分配值，以提升资源利用率。

• 如果持续一段时间内整体消耗值和分配值相差不大，则整体资源分配较为合理。可基于单个任务的历史运行情况，结合运行时效性和稳定性要求考虑是否需要增加部分核心任务的分配值。

建议优化任务

建议优化任务为您展示资源消耗率超过或低于特定阈值的任务明细。您可以在任务获取充足资源稳定运行的前提下，灵活调整资源配置，避免资源分配不足影响任务正常调度，或分配过多造成资源浪费。

优化任务指标释义

您可以通过项目、任务类型、消耗率阈值筛选建议优化任务。列表项指标释义如下表所示。

优化任务关注建议

• 某任务持续一段时间内资源分配值远大于消耗值，且运行时间较长，建议您重点关注，避免影响即席查询等任务的执行，影响下游业务使用。

• 某任务持续一段时间内资源分配值远大于消耗值，但运行时间较短，建议您适当关注，可将空余资源分配给其他资源紧张的任务。

• 某任务持续一段时间内资源消耗值接近于分配值，建议您适当关注，避免因资源不足而延迟运行或运行失败。

• 某任务内存消耗率达到过100%，建议您重点关注，适当增加内存分配，避免后续由于内存溢出等异常运行失败，影响数据产出。

任务资源详情

您可按照下图操作指引，查看任务资源详情。任务资源详情展示最近1次运行详情和最近7次运行趋势，为您优化资源配置提供分析基础。