使用strmvol存储卷优化OSS小文件读取性能

创建PV。

1. 修改以下YAML，保存为strmvol-pv.yaml。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # 挂载的OSS挂载点下最高可存储16 TiB数据。
       storage: 20Gi
     # 仅支持ReadOnlyMany访问模式。
     accessModes:
       - ReadOnlyMany
     # 为避免删除远端数据，目前仅支持Retain。 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # 使用准备工作中创建的secret。
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol存储卷仅支持以内网访问OSS数据。
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • nodeStageSecretRef参数说明

     参数	是否必选	说明
     name	必选	存储AccessKey信息的Secret名称。
     namespace	必选	存储AccessKey信息的Secret所在的命名空间。

   • volumeAttributes参数说明

     参数	是否必选	说明
     bucket	必选	需要挂载的OSS Bucket。
     path	可选	OSS Bucket挂载路径，表示挂载时相对Bucket根文件的目录结构。 重要 挂载路径的选择应按照最小够用原则。
     url	必选	挂载OSS的内网Endpoint。Endpoint以OSS控制台Bucket概览页为准，常见内网格式如下： http://oss-{{regionName}}-internal.aliyuncs.com或https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com的内网访问端口格式已废弃，请及时切换。
     umask	可选	挂载虚拟块设备后文件系统默认权限的掩码。 如若您期望文件系统的默认权限为755，则umask应配置为022。
     directMode	可选	是否开启direct模式。 "true"：开启direct模式时，关闭预取与数据本地缓存，适合小文件随机读场景，如训练集的随机批量读取。 "false"：默认关闭direct模式，适合小文件顺序读、大文件等通用场景。若您的业务没有明显数据读取特性，请保持direct模式关闭。
     resourceLimit	可选	挂载虚拟块设备后能使用节点的最大资源限制。 如"2c4g"表示该虚拟块设备最多能占用节点的2 vCPU、4GiB内存资源。 说明 内存主要用于数据预取与本地缓存。开启direct模式时，所需内存量会明显低于预设值。 对非Alibaba Cloud Linux 3操作系统，数据读取性能上限趋近，因此不推荐使用过高配置。具体请参见数据读取性能测试。

2. 创建PV。

   kubectl create -f strmvol-pv.yaml

3. 确认PV状态。

   kubectl get pv pv-strmvol

   预期返回如下：

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

创建PVC。

1. 修改以下YAML，保存为strmvol-pvc-static.yaml。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 以下配置需要与PV一致
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. 创建PVC。

   kubectl create -f strmvol-pvc-static.yaml

3. 确认PVC状态。

   kubectl get pvc pvc-strmvol

   预期返回如下，可以看到PVC已绑定PV。

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

创建StorageClass。

1. 修改以下YAML，保存为strmvol-sc.yaml。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # 使用准备工作中创建的secret。
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol存储卷仅支持以内网访问OSS数据。
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # 为避免删除远端数据，目前仅支持Retain 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   parameters中的相关参数说明如下：

   • 配置Secret

     参数	是否必选	说明
     csi.storage.k8s.io/node-stage-secret-name	必选	存储AccessKey信息的Secret名称。
     csi.storage.k8s.io/node-stage-secret-namespace	必选	存储AccessKey信息的Secret所在的命名空间。

   • 配置存储卷

     参数	是否必选	说明
     bucket	必选	需要挂载的OSS Bucket。
     path	可选	OSS Bucket挂载路径，表示挂载时相对Bucket根文件的目录结构。 重要 挂载路径的选择应按照最小够用原则。
     url	必选	挂载OSS的内网Endpoint。Endpoint以OSS控制台Bucket概览页为准，常见内网格式如下： http://oss-{{regionName}}-internal.aliyuncs.com或https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com的内网访问端口格式已废弃，请及时切换。
     umask	可选	挂载虚拟块设备后文件系统默认权限的掩码。 如若您期望文件系统的默认权限为755，则umask应配置为022。
     directMode	可选	是否开启direct模式。 "true"：开启direct模式时，关闭预取与数据本地缓存，适合小文件随机读场景，如训练集的随机批量读取。 "false"：默认关闭direct模式，适合小文件顺序读、大文件等通用场景。若您的业务没有明显数据读取特性，请保持direct模式关闭。
     resourceLimit	可选	挂载虚拟块设备后能使用节点的最大资源限制。 如"2c4g"表示该虚拟块设备最多能占用节点的2 vCPU、4GiB内存资源。 说明 内存主要用于数据预取与本地缓存。开启direct模式时，所需内存量会明显低于预设值。 对非Alibaba Cloud Linux 3操作系统，数据读取性能上限趋近，因此不推荐使用过高配置。具体请参见数据读取性能测试。

2. 创建StorageClass。

   kubectl create -f strmvol-sc.yaml

创建PVC。

1. 修改以下YAML，保存为strmvol-pvc-dynamic.yaml。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 仅支持ReadOnlyMany访问模式
     accessModes:
       - ReadOnlyMany
     # 指定StorageClass
     storageClassName: strmvol-test
     resources:
       requests:
         # 挂载的OSS挂载点下最高可存储16 TiB数据
         storage: 20Gi

2. 创建PVC。

   kubectl create -f strmvol-pvc-dynamic.yaml

3. 确认PVC状态。

   kubectl get pvc pvc-strmvol

   预期返回如下，可以看到PVC已绑定CSI自动创建的PV。

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m