为什么云存储网关写入速度慢?

更新时间:2025-01-21 08:06:12

本文主要列举一些导致云存储网关写入速度缓慢的常见原因以及相应的解决方案。

导致云存储网关写入速率缓慢的原因及其解决方案请参见下表。

常见原因

原因说明

解决方案

常见原因

原因说明

解决方案

缓存盘进入限流状态

当同时写入缓存盘的数据总量大于缓存盘数据空间高水位时(80%)会触发限流。

  1. 排查数据上传是否存在问题导致缓存空间无法释放,下面几种情况都可能导致数据无法及时上传。

    • OSS Bucket不存在。

    • OSS Bucket策略导致网关访问OSS Bucket受限。

    • OSS Bucket类型是归档存储类型或者冷归档存储类型。

    • 同时写入的文件大小超过可用缓存盘容量,无法及时关闭文件并上传。

  2. 您可以根据实际情况调整业务,下调同时写入缓存盘的数据总量。

  3. 您也可以扩展共享对应的缓存盘来扩大数据空间。更多信息,请参见扩展缓存

单线程写入或并发数量不足

单线程写入或者并发数量不足可能导致写入效率低下。

如果您的程序支持并发,建议增加并发数量来提升效率。例如,Windows自带的资源管理器是单线程写入操作,而使用如 robocopy 这样的高并发工具可以显著提高写入效率。

小 I/O 操作频繁

在小 I/O 场景下,频繁的4 KB小 I/O 操作会导致写入效率低下。

将小 I/O 聚合成较大的 I/O 操作,以提高传输效率。

文件夹内文件数过多

在同一文件夹内写入大量文件(如几十万个)可能导致目录锁,进而影响写入性能。

建议将文件分散到多个目录下进行写入,以减少同目录的目录锁竞争。

磁盘 I/O 性能

缓存盘的读写速度不足可能限制写入性能。

使用更高性能的缓存盘,例如,ESSD云盘,可以提高 I/O 性能。