监控与性能指标

更新时间:
复制 MD 格式

PAI-Sandbox提供基于 Grafana 的多维度监控大盘(空间 / 模板 / 实例),以及经压测验证的性能指标参考。以下介绍如何查看监控大盘,以及在 RL 训练、Agent 评测等高并发场景下的容量与吞吐表现。

Grafana 监控大盘

在沙箱空间工作台、模板详情页、沙箱详情页均可单击打开监控页面,跳转至对应维度的 Grafana 监控大盘。

沙箱空间工作台与模板详情页的监控大盘展示以下指标:

Sandbox 部分:

  • Sandbox Count:沙箱数量统计(总数、运行中、暂停中)。

  • Sandbox Creation Latency:沙箱创建延迟(max、avg、P50、P90 等)。

  • Top Sandbox Templates:使用最多的模板排行。

  • Requested CPU Cores / Memory / Storage:沙箱资源申请量。

Gateway API 部分:

  • Sandbox Creation/Deletion/Connection QPM:沙箱创建、删除、连接等管控 API 的每分钟调用量(QPM)。

  • Sandbox Operation Count:在所选时间范围内,沙箱创建、删除、连接的累计次数。

  • Proxy Request:访问沙箱服务的 Gateway 代理 API 的 QPS、延迟、错误率等指标。

沙箱详情页的监控大盘展示该沙箱的运行时指标,如CPU、Memory使用率,网络、磁盘与进程的运行时状态。

性能指标

PAI-Sandbox在大规模并发场景下经过严格的性能压测验证。以下为典型测试数据,供您评估在 RL 训练、Agent 评测等高并发场景下的容量与吞吐表现。

测试环境

  • 集群:基于 PAI MicroSandbox 计算集群。

  • 节点池规模:300 个节点。

    • ecs.c6.13xlarge(52 核 / 91 GiB) × 277

    • ecs.c6.26xlarge(104 核 / 183 GiB) × 23

  • 测试时间:2026 年 4 月。

测试方法

客户端通过脚本批量提交沙箱创建请求至控制面,以脚本开始批量发送的时间作为压测起始时间,以最后一个沙箱启动成功的用时作为压测结束时间,两者之差即为沙箱并发启动耗时

测试模板规格

Code Interpreter(1 CPU / 2 GiB 内存 / 8 GiB 磁盘)

测试结果

PAI-Sandbox在万级并发场景下的整体 QPS 稳定保持在 750 以上,节点单实例启动 P99 延迟控制在 600 ms 以内,可充分支撑大规模 Agent 评测、RL Rollout 等对沙箱启停吞吐有高要求的业务场景。

创建沙箱数量

并发启动耗时

整体 QPS

节点平均延迟

节点 P50 延迟

节点 P99 延迟

10,000

13.23 s

755.74

396.02 ms

395.81 ms

502.73 ms

20,000

26.17 s

764.23

457.62 ms

437.96 ms

582.07 ms

并发启动耗时是全部沙箱启动的总耗时,受到客户端并发限制等约束。单沙箱的启动时间请参考节点延迟数据。