减少OSS请求并提升挂载点性能

文件访问方式

OSS采用从根目录逐级向下的访问方式访问文件，以获取位于/dir/object路径下object文件的属性信息为例，使用stat /dir/object命令执行流程如下：

1. 首先对/dir执行操作，发送GetObjectMeta dir请求，若返回404 Not Found则表明该对象不存在，继而发送ListObject (max-keys=1)dir/请求，若返回200 OK，则说明存在对应的虚拟文件夹。

2. 对/dir/object执行操作，发送GetObjectMeta dir/object请求，若返回200 OK，则成功获取到对象属性信息。

综上分析可得，单次stat /dir/object命令执行，最终转换为两次GetObjectMeta请求与一次ListObject请求。并且文件系统的元数据请求会转换为多个OSS请求，且随文件的深度增长而增长，造成性能大幅下降。

文件元数据缓存影响

以获取位于/dir/目录下100个子文件的属性信息为例，说明文件元数据缓存对性能的影响。

• 未开启元数据缓存

  • 已知文件列表访问文件：

    循环执行stat /dir/object-<i> 命令，每一次stat操作都将转换为一次GetObjectMeta请求，最终产生100次GetObjectMeta请求发送到OSS以获取文件属性，从而导致元数据请求次数过多影响性能。

  • 未知文件列表访问文件：

    执行ls命令，该操作将转换为一次ListObject请求发送到OSS以获取文件列表，再通过获取到的文件列表循环执行stat /dir/object-<i>命令获取文件属性，最终将产生一次ListObject请求和100次GetObjectMeta请求发送至OSS，从而导致元数据请求次数过多影响性能。

• 开启元数据缓存

  • 已知文件列表访问文件：

    循环执行stat /dir/object-<i> 命令，每一次stat操作都将转换为一次GetObjectMeta请求，最终产生100次GetObjectMeta请求。这100次请求在元数据缓存有效期内会直接命中本地元数据缓存获取文件属性，从而有效减少发送至OSS的请求次数。

  • 未知文件列表访问文件：

    执行ls命令，该操作将转换为一次ListObject请求发送至OSS同时更新本地元数据缓存。在完成缓存更新后，再循环执行stat /dir/object-<i>命令，由于此时元数据已在本地缓存中，将不会发送额外的OSS请求。

综上分析可得，元数据缓存机制可以有效减少重复发送到OSS的请求次数，若要遍历访问某个文件夹下的所有文件时，通过ls可以提前预载元数据缓存，从而有效减少后续对子文件的OSS请求。

延长元数据缓存时间

如果读取的数据一旦上传到OSS中就不会修改，或修改时间间隔远大于元数据缓存时间，可通过attr_timeout挂载选项配置更长的元数据缓存失效时间，从而减少重复的元数据请求以提升性能。挂载选项配置示例如下。

• 业务场景：在数据标注场景中，系统会读取预先收集的一批原始数据，经处理后再生成一批新数据。此场景下原始数据一旦上传至OSS就不会修改。

• 挂载配置：在ossfs 2.0配置文件中，配置元数据缓存失效时间为7200秒。

  # Bucket所处Endpoint（地域节点）
  --oss_endpoint=https://oss-cn-hangzhou-internal.aliyuncs.com
  
  # Bucket名称
  --oss_bucket=bucketName
  
  # 元数据缓存失效时间
  --attr_timeout=7200
  
  # 访问密钥AccessKey ID和AccessKey Secret（ossfs 2.0.1及后续版本该配置项可选）
  --oss_access_key_id=LTAI******************
  --oss_access_key_secret=8CE4**********************

获取文件列表后操作

在遍历访问某个目录下的所有文件时，可先通过ls命令或发送ListObject请求，将目标文件夹下所有文件的元数据提前加载至本地元数据缓存，同时配合较长的缓存失效时间，以此减少重复的元数据请求，最终实现整体性能的提升。

ls命令可替换为任意用于读取文件夹内容的高级语言程序。以获取/mnt/data/目录下文件列表为例，常见示例如下。

os.listdir('/mnt/data/')

entries, err := os.ReadDir("/mnt/data/")

dir = opendir("/mnt/data/");
if (dir != NULL) {
  struct dirent *entry;
  while((entry = readdir(dir)) != NULL) {}
  closedir(dir);
}

使用negative缓存加速文件创建速度

文件系统在创建新文件时，会依次执行lookup + create两次系统调用：

1. 使用lookup来查询对应文件是否存在，在ossfs 2.0中会被解析成GetObjectMeta + ListObjects请求。

2. 若返回404不存在，则使用create来创建对应文件，在ossfs 2.0中执行create时也需要发送GetObjectMeta + ListObjects请求来查询OSS中是否存在该文件。

故一次创建新文件的流程，会执行4次OSS的元数据查询操作。

ossfs 2.0支持缓存OSS返回的404请求减少后续的重复请求。开启方式为挂载时指定：

• --oss_negative_cache_timeout=30（单位：秒，默认0，建议小于attr_timeout）

• --oss_negative_cache_size=10000（默认10000个）

当oss negative缓存开启后，创建新文件时lookup中发送的404请求会被缓存下来，在create中再次查询会命中negative缓存，不再发送请求给OSS。此时原先一个创建新文件流程中的4次OSS请求被减少成2次。