性能说明FAQ

NAS的性能与存储容量之间的关系是什么？

• 通用型NAS

  单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见通用型NAS。

• 极速型NAS

  单个文件系统的读写性能随配置容量的增长呈阶梯式增长。更多信息，请参见极速型NAS。

NAS的性能与目录大小之间的关系是什么？

在执行目录遍历操作时，以下情况可能导致响应速度变慢：

• 目录正在被修改：例如，创建、删除或重命名文件时，缓存可能频繁失效。

• 目录体量过大：对大目录执行目录遍历操作时，由于缓存淘汰导致响应非常慢。

解决方案：

• 避免目录体量过大，控制单目录下文件数量小于1万个。

• 执行目录遍历操作时，不要频繁对目录进行修改。

• 对于大目录遍历，若不需频繁修改，可考虑使用NFS v3协议挂载并添加nordirplus参数，以提升效率，请您验证后使用。

挂载参数对NAS性能有什么影响？

挂载参数对NAS性能有显著的影响，以下是挂载参数对性能的具体影响：

• rsize 和 wsize：

  • 影响：这两个参数定义了客户端与服务器之间数据交换的块大小。较大的块大小可以减少网络请求的次数，进而提高吞吐量，特别是在处理大文件时。

  • 建议值：1048576（1 MB）。建议您尽可能使用最大值。较小的块大小可能导致更多的网络开销，从而降低性能。

• hard：

  • 影响：启用该选项后，如果文件存储NAS不可用，客户端会不断重试请求，直到文件系统恢复。这确保了数据的完整性和一致性。

  • 建议：启用。该参数有助于避免数据丢失，但可能导致应用程序暂时挂起。因此，适用于对可用性要求较高的场景。

• timeo：

  • 影响：这个参数定义了客户端在重试之前的等待响应时间。设置过短的超时可能会导致频繁请求重试，从而降低性能，尤其是在网络不稳定的情况下。

  • 建议值：600（60秒）。以确保网络有足够的时间恢复，从而减少重试次数。

• retrans：

  • 影响：该参数定义了NFS客户端在请求失败后重试的次数。更高的重试次数可以增加成功请求的可能性，但也可能导致延迟。

  • 建议值：2。平衡性能与数据可靠性。

• noresvport：

  • 影响：启用该选项后，网络重连时将使用新的TCP端口，从而确保在网络故障恢复期间不会中断连接。以提高网络的可靠性。

  • 建议：启用。该参数保障网络连接的稳定性。

云服务器ECS实例的带宽对NAS性能有何限制？

吞吐量最大不会超过ECS内网带宽，如果内网带宽太小，则吞吐量会受到流量控制。

读写吞吐超过阈值会有什么影响？

如果您或应用程序发出的请求吞吐量超过阈值时，NAS会自动对该请求限速，进而导致延迟增高。

通用型NAS可以通过Truncate命令提升吞吐阈值。具体操作，请参见如何提升通用型NAS文件系统的读写吞吐阈值？ 。

极速型NAS可以通过扩容文件系统提升吞吐阈值。具体操作，请参见极速型NAS扩容。

关于通用型NAS文件系统和极速型NAS文件系统的吞吐阈值，请参见通用型NAS性能指标和极速型NAS性能指标。

如何提升通用型NAS文件系统的读写吞吐阈值？

通用型NAS文件系统的读写吞吐量随文件系统的使用容量线性增长。文件系统读写吞吐与使用容量的关系，请参见通用型NAS产品规格。

通过在文件系统写入空洞文件或使用Truncate命令生成一个文件来增加文件系统使用容量，从而提升文件系统的读写吞吐量。同时，空洞文件和Truncate命令生成的文件在阿里云NAS上占用实际容量，按实际大小计费。更多信息，请参见通用型NAS计费。

例如在容量型文件系统写入1 TiB文件，其读写吞吐量可提升150 MB/s；在性能型文件系统写入1 TiB文件，其读写吞吐量可提升600 MB/s。

• Linux

  支持使用Truncate命令生成文件提升读写吞吐。

  sudo truncate --size=1TB /mnt/sparse_file.txt

  其中，/mnt为文件系统在计算节点上的挂载路径。

• Windows

  支持通过在文件系统写入空洞文件提升读写吞吐。

  fsutil file createnew Z:\sparse_file.txt 1099511627776

  其中，Z:\为文件系统在计算节点上的挂载路径。

如何解决Linux操作系统上访问NAS性能不好？

• 方案一：通过nconnect参数提升单台ECS访问NAS的吞吐

  nconnect参数是NFS客户端Linux挂载选项，通过在客户端和服务器之间建立更多的TCP传输连接来提高吞吐性能。经过测试，使用nconnect参数可以将单ECS访问NAS的吞吐提升3倍~6倍，达到3 GB/s。

  适用场景

  单ECS上多并发I/O读写（并发大于16）。

  前提条件

  Linux内核版本需5.3及以上版本。

  操作步骤

  在mount命令中增加nconnect参数，建议nconnect=4，命令示例如下。

  sudo mount -t nfs -o vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport,nconnect=4 

  重要

  nconnect提高的是单个ECS访问NAS的吞吐能力，并不会提高NAS文件系统自身的吞吐阈值。对于单并发，小数据块，延迟敏感型业务，开启nconnect会引起延迟增加，不建议开启。

• 方案二：通过修改sunrpc.tcp_slot_table_entries提升单台ECS访问NAS的吞吐

  Linux kernel中sunrpc决定了NFS单个链接内的通信slot数量。不同的Linux版本采用了不同的配置。slot配置过高可能引起延迟增加，配置过低会引起吞吐不足。当您需要大吞吐时，建议slot配置为128。需要较低延迟时，slot配置为16及以下。

  说明

  调整sunrpc.tcp_slot_table_entries的配置效果远差于nconnect。建议5.3及以上内核操作系统使用nconnect参数进行调节。

  适用场景

  单ECS上多并发I/O读写，且内核版本低于3.10。

  操作步骤

  请参见如何修改同时发起的NFS请求数量？。

为什么使用Nginx写日志到文件系统耗时很长？

• 背景信息：

  与Nginx日志相关的指令有两条。log_format用来设置日志的格式，access_log用来指定日志文件的存放路径、格式的名称和缓存大小。

• 问题描述：

  Nginx写日志到文件系统耗时很长，写入性能差。

• 问题原因：

  access_log指令中的日志文件路径包含变量，每次写日志时都会重新打开文件，再写入日志，然后关闭文件。NAS为了保证数据的可见性，会在关闭文件时将数据写回服务端，性能消耗较大。

• 解决方案：

  • 方案一：删除access_log指令中的变量，使用固定路径存储日志文件。

  • 方案二：使用open_log_file_cache指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见open_log_file_cache。

    建议配置：

    open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;

为什么SMB协议文件系统执行IO操作会延迟？

• 问题描述：

  通过挂载点直接访问SMB协议文件系统，在执行IO操作会有几分钟的等待时间。

• 问题原因：

  • 安装了NFS客户端，实际业务不使用，产生等待时间。

  • 启用了WebClient服务，导致Internet文件服务器登录SMB协议文件系统失败。

  • 注册表配置项中包含了NFS权限Nfsnp，导致打开文件失败。

• 解决方案：

  1. 首次访问SMB文件系统时，请ping挂载点，查看计算节点和文件系统连通性，以及时延是否在正常范围。

     • 如果执行ping命令失败，请检查您的网络设置，确保网络连接正常。

     • 如果延时较长，请ping挂载IP。当ping IP比ping DNS延时小很多，判断可能是DNS问题，请检查您的DNS服务器配置。

  2. 如果已安装NFS客户端，且用不到NFS服务，请删除NFS客户端。

  3. 禁用WebClient服务。

  4. 查看注册表配置项HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\NetworkProvider\Order\ProviderOrder，如果注册值包含Nfsnp，请删除Nfsnp，然后重启实例。

为什么Windows server SMB协议IO操作会延迟？

• 问题原因：

  Windows SMB客户端默认不开启large mtu选项，因此影响IO性能的提升。

• 解决方案：

  您可以通过修改注册表配置项来开启large mtu选项，注册表路径：HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\LanmanWorkstation\Parameters

  在该路径下，增加DWORD类型的键，命名为DisableLargeMtu，设置其值为0，重启后才能生效。

如何提升IIS访问NAS的性能？

• 问题原因：

  IIS采用NAS Share的方式访问NAS，在访问一个文件时，IIS后台会多次访问NAS。不同于访问本地文件系统，每次访问NAS至少要有一次网络交互，虽然每次访问的时长很短，但是多次访问时长叠加可能会造成客户端响应总时间较长。

• 解决方案：

  1. 请您使用SMB重定向器组件，进行优化。具体操作，请参见SMB2 Client Redirector Caches Explained。

     其中，注册表路径为HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\LanmanWorkstation\Parameters。请将如下三个配置项调至600及以上。

     • FileInfoCacheLifetime

     • FileNotFoundCacheLifetime

     • DirectoryCacheLifetime

     说明

     如果三个注册表配置项都不存在：

     1. 请确认使用的是SMB文件系统。

     2. 确认Windows版本是否支持这三个注册表项配置项。如果Windows版本支持而注册表配置项不存在，请手动创建。具体操作，请参见Performance tuning for file servers。

  2. 建议把IIS访问频繁的JS/CSS等网页程序相关的内容存放在本地。

如果当前IIS读写性能无法满足您的业务需求，请提交工单处理。

为什么执行ls命令时，有卡顿或者无响应？

• 问题现象

  在执行目录遍历的操作中出现卡顿或无响应。例如，执行ls命令、包含通配符*?的操作、执行rm -rf命令及getdents系统调用等。

• 原因分析

  • 执行目录遍历操作时，如果此目录同时正在被修改（如创建、删除、重命名文件），目录遍历会由于缓存频繁失效而响应非常慢。

  • 对大目录执行目录遍历操作时，目录遍历会由于缓存淘汰而响应非常慢。

• 解决方案

  • 避免目录体量过大，控制单目录下文件数量小于1万个。

  • 执行目录遍历操作时，不要频繁对目录进行修改。

  • 执行目录遍历操作时，如果目标目录体量较大（包含大于1万个文件），且不需要频繁修改目录，您可以通过NFSv3挂载，并添加nordirplus参数，该措施能在一定程度上提速，请您验证后使用。更多信息，请参见挂载参数。

如何提升Linux 5.4及以上版本内核的NFS顺序读取性能？

NFS read_ahead_kb参数定义了Linux内核在顺序读取操作期间要提前读取或预取的数据大小（以KB为单位）。

对于5.4.* 之前的Linux内核版本，read_ahead_kb参数的值是通过NFS_MAX_READAHEAD乘以rsize（在挂载选项中设置的客户端读取数据大小）的值来设置的。从Linux内核版本5.4.*开始，NFS客户端使用默认的read_ahead_kb值128 KB。因此建议使用推荐的挂载选项时，read_ahead_kb参数的值增加到15 MB。

挂载文件系统后，可以使用以下命令重置read_ahead_kb参数值。其中，nas-mount-point请替换为挂载文件系统的本地路径；read-ahead-kb请替换为所需的读取或预取的数据大小（以KB为单位）。

device_number=$(stat -c '%d' nas-mount-point)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo read-ahead-kb > /sys/class/bdi/$major:$minor/read_ahead_kb"

以下命令以挂载文件系统的本地路径为/mnt为例，将read_ahead_kb的读取或预取数据大小设置为15 MB。

device_number=$(stat -c '%d' /mnt)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo 15000 > /sys/class/bdi/$major:$minor/read_ahead_kb"