文件网关缓存盘工作原理

缓存盘原理

文件网关的缓存盘是配置在云存储网关内部的云盘，用于聚合和缓存用户的数据和元数据，主要功能如下：

1. 缓存用户通过挂载点写入的数据，在文件关闭后，网关会将数据一次性上传至后端对象存储，因此网关支持顺序写和随机写操作。数据上传完成后，对应的缓存空间会根据策略自动回收。

2. 缓存用户读取的数据，可有效降低文件重复访问时的延迟。对于大文件，通过预读机制将数据提前加载至缓存盘，可有效提升文件的读取带宽。

3. 缓存目录结构等元数据信息，可加速 ls、stat 等文件系统元数据操作。同时，提供多种灵活的元数据同步机制，包括极速同步、周期性反向同步和一次性反向同步，以满足不同场景下的数据一致性需求。

4. 网关会根据缓存盘使用情况，自动淘汰长时间未访问的文件数据（仅淘汰数据部分，保留元数据，如文件名、目录结构、权限等），确保缓存盘使用率维持在健康水位（通常约为60%）

注意事项

1. 选择合适的缓存盘类型。

   在选择缓存盘类型时，应根据业务对带宽和IOPS的需求进行合理匹配。同时，需注意缓存盘性能需与网关规格相匹配，才能充分发挥效能。例如：基础型及标准型使用ESSD PL1缓存盘，增强型及性能型使用ESSD PL2缓存盘。

2. 选择合适的缓存盘容量。

   在选择缓存盘容量时，需同时考虑数据缓存和元数据缓存两部分的需求。

   • 数据缓存容量取决于并发数和最大文件大小。为避免写入失败或性能下降，缓存盘的可用空间（扣除元数据占用后） 必须大于“并发数×最大文件大小”的乘积。为了获得更好的性能表现，建议预留约30%的可用空间。

   • 元数据缓存用于存储文件系统的结构信息，包括：

     • 目录层级结构

     • 文件属性（如大小、创建/修改时间等）

     • 桩文件：即使文件数据被淘汰，元数据中仍保留该文件记录，这保证了用户在浏览目录时能保持一致的视图体验。当用户再次访问已被淘汰的文件时，网关会自动从OSS中重新加载数据至缓存。

     元数据缓存容量与总文件数量密切相关。通常情况下：100GB缓存盘可支持约1000万个文件的元数据管理。

3. 当数据缓存或元数据缓存空间不足时，系统会分别触发限流和元数据空间不足的告警。为避免影响业务，建议您在收到告警后及时进行缓存盘扩容处理，确保网关稳定高效运行。