弹性临时盘性能优化最佳实践

更新时间:
复制 MD 格式

弹性临时盘 EED(Elastic Ephemeral Disk)承载 AI 训练缓存、大数据 Shuffle、临时索引、中间计算结果等可重建的临时数据,吞吐能力强。仅适用于临时数据存储,是唯一副本、数据库日志等关键数据请使用云盘或具备数据冗余机制的应用系统承载。

购买阶段:优先选择大容量 EED

大容量 EED 优势

弹性临时盘的读写 IOPS 和吞吐随容量线性增长,直至达到性能上限。因此对于同类型 EED,只要总容量相同且未达到性能上限,单盘与多盘的理论总性能一致,将单盘拆分为多盘不会获得额外性能配额。

相反,因为操作系统和应用通常会为每块设备单独创建请求队列及工作线程,多盘反而会使请求数增加,当超过处理能力时会出现性能下降,延迟升高或各盘性能不均衡等现象。

因此,当 ECS 实例所需的 EED 总容量不超过单盘购买上限,且业务无需多个独立块设备时,建议优先购买单块大容量弹性临时盘。

重要

弹性临时盘最终性能除了受到弹性临时盘本身规格限制,同时还会受到挂载的实例规格的限制,请参见存储I/O性能。

适用多块盘的场景

  • 所需容量超过单盘最大容量。

  • 业务必须使用多个独立块设备或独立挂载点。

  • 不同数据集需要独立创建、释放或限流。

  • 已经过测试,确认多盘方案不会触发实例侧性能瓶颈。

    性能测试建议从较低并发开始逐步加压,当吞吐不再提升或延迟明显上升前停止。

使用前检查:确认兼容性与对齐

EED 为 4Kn 存储,即其逻辑扇区和物理扇区均为 4096 字节,无需配置。因此使用前须确认操作系统和应用支持 4 KiB 逻辑扇区。常见扇区格式差异,请参考扇区区别。

重要

弹性临时盘不可用作依赖 512 B 逻辑扇区的存储设备,业务中扇区大小应通过操作系统接口查询,不得硬编码为 512 B。

Linux 检查方法

  1. 设备扇区检查(创建分区前)。

    挂载前执行以下命令查看逻辑和物理扇区大小。

    lsblk -o NAME,SIZE,TYPE,LOG-SEC,PHY-SEC,MIN-IO,OPT-IO,MOUNTPOINTS

    对应设备的 LOG-SEC 和 PHY-SEC 应均为 4096。

    也可执行sudo blockdev --getss <EED 设备名称>,查询逻辑扇区大小,返回值应为4096。
  2. 分区对齐检查(创建分区后)。

    sudo parted /dev/<设备名称> align-check optimal <分区编号>

    返回aligned表示对齐。

    以分区/dev/nvme1n1p1为例,需执行sudo parted /dev/nvme1n1 align-check optimal 1。

Windows 检查方法

重要

Windows 8 / Windows Server 2012 以下版本不支持 4Kn 数据盘,不应使用弹性临时盘。

以管理员权限在Powershell中执行以下命令。

fsutil fsinfo sectorinfo <EED盘符>
以EED盘符为D:为例,需执行fsutil fsinfo sectorinfo D:。

LogicalBytesPerSector 应为 4096。

使用阶段:I/O 大小、空间回收与并发

吞吐型业务I/O建议

I/O 大小指最终提交到弹性临时盘的单个请求的数据长度。传输相同的数据量,I/O 越小,请求数量越多。请求过多会先达到 IOPS 或 CPU 上限,无法用满带宽。因此对于吞吐型业务建议:

  • 批量读写数据,将单次 I/O 设置为 64 KiB 及以上,避免将较大数据块主动拆成为小 I/O 请求。

  • 将应用缓冲区、文件系统请求和存储 SDK 的块大小设置为64 KiB 及以上。

  • 合并相邻的小请求,并尽量保持顺序访问。

  • 在满足业务一致性要求的前提下,避免每写一个小块就执行一次 fsync。

  • 为并发任务设置上限,通过压测确定合适的线程数和队列深度,不要无限增加。

    Linux可通过iostat查看实际吞吐和IOPS,若吞吐不再上升,而 aqu-sz (平均队列长度)和 await (平均等待时间)持续增大,说明请求正在排队。此时应降低应用并发或队列深度,检查是否已达实例共享性能上限,而非继续增加线程。

64 KiB 是吞吐场景的推荐下限,非强制。数据库页访问、小对象随机读写等业务追求 IOPS 或低延迟,可能需要更小的 I/O,此时应按实际数据块大小压测。

启用 TRIM 保持长期性能稳定

TRIM 用于通知块存储哪些逻辑块已失效、可供回收,在 Linux 系统中称为 discard。使用 EED 时强烈建议启用,以便删除或释放空间后,可及时识别,获得更好的吞吐性能。

Linux

  1. 确认设备是否支持 discard。

    lsblk -D <EED设备名称>
    以 EED 设备名称为/dev/nvme1n1为例,需执行lsblk -D /dev/nvme1n1。

    DISC-MAX 非零表示支持 discard。

  2. 启用并验证 discard。

    建议启用在线 discard,实时回收空间,保证 EED 持续写入性能。若未启用,可通过 sudo systemctl enable --now fstrim.timer 定期执行 TRIM,但空间回收会延后至下一执行周期,期间可能影响写入性能。
    1. 为防止误操作,建议备份/etc/fstab文件。

      sudo cp /etc/fstab /etc/fstab.bak
    2. 判断是否需要新增挂载信息。

      sudo cat /etc/fstab |grep <挂载目录>
      以挂载目录为/mnt为例需执行sudo cat /etc/fstab |grep /mnt。
      • 存在回执:存在挂载信息,无需新增,vim编辑/etc/fstab,修改此条PARTLABEL为defaults,noatime,discard,nofail 0 2后,检查挂载项。

      • 不存在回执:需要新增挂载信息。

    3. 新增挂载信息。

      将命令中的变量<设备名称>、<挂载目录>和<文件系统类型>按实际填写。

      sudo sh -c "echo `sudo blkid /dev/<目标设备名称> | awk '{print \$2}' | sed 's/\"//g'` <挂载目录> <文件系统类型> defaults,noatime,discard,nofail 0 2 >> /etc/fstab"
      以配置设备名称为nvme1n1p1,挂载目录为/mnt,文件系统类型为ext4为例:
      sudo sh -c "echo `sudo blkid /dev/nvme1n1p1 | awk '{print \$2}' | sed 's/\"//g'` /mnt ext4 defaults,noatime,discard,nofail 0 2 >> /etc/fstab"
    4. 检查挂载项。

      1. 卸载当前挂载点。

        sudo umount /dev/<分区名称>
        以配置分区名称为nvme1n1p1,需执行sudo umount /dev/nvme1n1p1。
        重要

        卸载挂载点可能影响业务运行,请谨慎操作。

      2. 重新加载/etc/fstab文件。

        运行以下指令,系统将根据/etc/fstab 配置文件,挂载尚未被挂载的文件系统。

        sudo mount -a
      3. 检查挂载项。

        sudo findmnt -no SOURCE,FSTYPE,OPTIONS <挂载目录>
        以挂载目录为/mnt为例,需执行sudo findmnt -no SOURCE,FSTYPE,OPTIONS /mnt。

        输出的挂载选项中包含 discard。

Windows

  1. 查看是否启用TRIM。

    以管理员权限在Powershell中执行以下命令。

    fsutil behavior query DisableDeleteNotify

    返回 0 表示已启用,返回 1 表示已禁用需要手动启用。

  2. 启用 TRIM。

    fsutil behavior set DisableDeleteNotify 0

按实例总量控制并发

操作系统和应用会为每块设备单独创建请求队列和工作线程,因此并发配置须按实例的总处理能力分配,而非按单盘独立累加。

  • 按实例总量控制线程数和队列深度,避免实例内在途请求数超过共享 I/O 路径的处理能力;

  • 从较低并发开始逐步加压,在吞吐不再提升或尾延迟明显上升前停止;

  • 当 aqu-sz 和 await 持续增大而吞吐停滞时,降低并发而非继续增加线程;

  • 确认 ECS 实例规格不成为 I/O 路径的性能瓶颈。

常见问题

常见扇区格式差异

格式

逻辑扇区

物理扇区

说明

512n

512 B

512 B

原生 512 字节扇区,常见于较老设备。

512e

512 B

4096 B

在 4 KiB 物理扇区上模拟 512 B 接口,用于兼容旧软件。

4Kn

4096 B

4096 B

原生 4 KiB 接口,无需 512 B 兼容转换。EED 创建后即为该格式

在 512e 设备上,未覆盖完整 4 KiB 物理扇区或未对齐的写入,会增加 I/O 次数和处理开销。EED 不提供 512e 模式,直接呈现 4Kn 设备。因此操作系统、分区工具、文件系统和应用必须能够识别 4096 B 逻辑扇区才可使用。

多买几块小容量弹性临时盘,再使用 RAID 0,吞吐一定更高吗?

不一定。弹性临时盘的读写 IOPS 和吞吐随容量线性增长,直至达到性能上限。因此对于同类型 EED,只要总容量相同且未达到性能上限,单盘与多盘的理论总性能一致,将单盘拆分为多盘不会获得额外性能配额。多块盘仍会竞争实例侧的共享 I/O 资源,RAID 0 反而还会增加软件栈、队列和运维复杂度。建议选择单块大容量盘。

I/O 小于 64 KiB 会无法使用吗?

不会。64 KiB 是吞吐型业务的性能建议值,非强制。小 I/O 可正常使用,但单位数据量需要处理更多请求,吞吐通常降低。

EED 已经是 4Kn,为什么还要关注对齐?

4Kn 消除了 512e 模拟,但 Direct I/O、分区起始位置和应用缓冲区仍需满足 4 KiB 逻辑扇区及文件系统的对齐要求。未对齐的请求可能失败、被软件层拆分,或引入额外处理开销。

已删除大量文件,为什么仍需 TRIM?

删除文件只表示文件系统不再使用相应逻辑块。TRIM 用于将这些信息通知给块设备和后端存储。只有启用 discard 或定期执行 fstrim,存储才能及时获知可回收空间。

EED 和文件系统有关吗?

无特殊依赖。EED 支持 4 KiB 逻辑扇区的文件系统(ext4、XFS、Btrfs、NTFS 等),mkfs 时会自动探测设备逻辑扇区大小并完成对齐,无需手工指定参数。使用时注意以下两点:

  • 大容量吞吐场景优先选 XFS:容量越大,XFS 在 mkfs 速度、并发分配扩展性和日志聚合上的优势越明显。

  • 多挂载点优先用多块 EED,而非盘内分区:同一块 EED 上划分多个分区或创建多个文件系统不会提升性能,它们共享同一个块设备的请求队列和性能配额。需要多个独立挂载点时,优先挂载多块 EED。

64 KiB 的 I/O 大小影响文件系统元数据吗?

不影响,64 KiB 的 I/O 建议仅针对数据 I/O。文件系统元数据天然以小 I/O 更新,无法通过应用配置改变:

  • 天然对齐:元数据 I/O 均为 4 KiB 或其整数倍,满足 4Kn 对齐要求。

  • 日志机制聚合提交:ext4 和 XFS 都采用日志机制,会先在内存中累积元数据改动,再批量合并、统一落盘。因此实际写入磁盘的元数据 I/O 通常大于单次元数据更新的大小,不会产生大量零散小 I/O。

  • 吞吐场景占比极低:在大文件吞吐场景中,元数据 I/O 占比很低,不构成吞吐瓶颈。

  • 小文件场景应单独评估:海量小文件、频繁创建删除属于 IOPS/延迟型业务,应单独压测,不以吞吐为目标。