静态挂载CPFS智算版存储卷

对于AIGC、自动驾驶等智算场景,可以选择CPFS智算版作为持久化存储卷。本文介绍如何为应用静态挂载CPFS存储卷,并验证CPFS的共享存储和持久化存储。

背景信息

CPFS智算版是阿里云文件存储CPFS推出的一款超高性能的文件存储服务,支持端到端RDMA网络,适用于AIGC、自动驾驶等智算场景。更多信息,请参见存储概述

重要

目前ACS仅支持使用CPFS智算版,不支持CPFS通用版。CPFS智算版目前处于邀测中,更多信息,请参见CPFS智算版

前提条件

ACS集群中已安装最新版本的managed-csiprovisioner组件。

说明

您可以在ACS集群管理页的左侧导航栏选择运维管理 > 组件管理,在存储页签下查看managed-csiprovisioner组件的安装情况。

使用限制

  • 仅支持在高性能网络GPU型工作负载中挂载CPFS智算版文件系统。

  • 仅部分地域和可用区支持创建CPFS智算版文件系统,具体请参见CPFS智算版

注意事项

  • CPFS为共享存储。一个CPFS存储卷可以挂载到多个Pod上。

  • CPFS智算版采用按量计费,具体请参见CPFS智算版

创建CPFS智算版文件系统

CPFS智算版目前处于邀测中,您需要提交工单,申请添加CPFS智算版服务使用白名单后,才能创建CPFS智算版文件系统。更多信息,请参见创建CPFS智算版文件系统

静态挂载CPFS存储卷

步骤一:创建PV

  1. 连接集群。具体操作,请参见获取集群KubeConfig并通过kubectl工具连接集群在CloudShell上通过kubectl管理Kubernetes集群

  2. 将以下YAML内容保存为pv.yaml。

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: bmcpfs-gpu-hpn
    spec:
      accessModes:
      - ReadWriteMany
      capacity:
        storage: 10Ti
      claimRef:
        name: bmcpfs-gpu-hpn
        namespace: default
      csi:
        driver: povplugin.csi.alibabacloud.com
        volumeAttributes:
          filesystemId: bmcpfs-*****
          path: /
        volumeHandle: bmcpfs-*****
      persistentVolumeReclaimPolicy: Retain
      storageClassName: alibaba-cloud-cpfs-premium

    相关参数说明如下:

    参数

    说明

    accessModes

    访问模式。

    capacity

    声明存储卷容量。

    claimRef

    绑定的 PVC 的namespacename

    csi.driver

    驱动类型,必须设置为povplugin.csi.alibabacloud.com

    csi.volumeAttributes

    • filesystemIdCPFS智算版文件系统ID,例如bmcpfs-*****

    • path默认为/表示挂载CPFS文件系统的根目录,支持设置为子目录,如/dir。如果子目录不存在,会在挂载时被自动创建。

    csi.volumeHandle

    设置为CPFS智算版文件系统ID。

    persistentVolumeReclaimPolicy

    回收策略,必须设置为Retain

  3. 创建PV。

    kubectl create -f pv.yaml

步骤二:创建PVC

  1. 将以下YAML内容保存为pvc.yaml。

    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: bmcpfs-gpu-hpn
    spec:
      accessModes:
      - ReadWriteMany
      storageClassName: alibaba-cloud-cpfs-premium
      volumeName: bmcpfs-gpu-hpn
      resources:
        requests:
          storage: 10Ti

    相关参数说明如下:

    参数

    说明

    accessModes

    访问模式。

    volumeName

    设置为之前创建的PV名。

    resources.requests

    容量不大于PV容量即可。

  2. 创建PVC。

    kubectl create -f pvc.yaml
  3. 检查PVC完成绑定。

    kubectl get pvc bmcpfs-gpu-hpn

    返回示例如下:

    NAME             STATUS   VOLUME           CAPACITY   ACCESS MODES   STORAGECLASS                 VOLUMEATTRIBUTESCLASS   AGE
    bmcpfs-gpu-hpn   Bound    bmcpfs-gpu-hpn   10Ti       RWX            alibaba-cloud-cpfs-premium   <unset>                 10s

步骤三:创建应用并挂载CPFS

  1. 使用以下YAML内容,创建cpfs-test.yaml文件。

    以下YAML示例可以创建包含2个Pod的Deployment,2个Pod均通过alibabacloud.com/compute-class: gpu-hpn声明要使用GPU型算力,并且通过名为cpfs-pvc的PVC申请存储资源,挂载路径均为/data

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: cpfs-test
      labels:
        app: cpfs-test
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: cpfs-test
      template:
        metadata:
          labels:
            app: cpfs-test
            alibabacloud.com/compute-class: gpu-hpn
        spec:
          containers:
          - name: nginx
            image: registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest
            ports:
            - containerPort: 80
            volumeMounts:
              - name: pvc-cpfs
                mountPath: /data
          volumes:
            - name: pvc-cpfs
              persistentVolumeClaim:
                claimName: bmcpfs-gpu-hpn
  2. 创建Deployment并挂载CPFS。

    kubectl create -f cpfs-test.yaml
  3. 查看Deployment中Pod的部署情况。

    kubectl get pod | grep cpfs-test

    返回示例如下,已创建2个Pod。

    cpfs-test-****-***a   1/1     Running   0          45s
    cpfs-test-****-***b   1/1     Running   0          45s
  4. 查看挂载路径。

    命令示例如下,预期会返回CPFS智算版文件系统挂载目录下的数据。默认为空。

    kubectl exec cpfs-test-****-***a -- ls /data

验证CPFS的共享存储和持久化存储

按照上文示例创建的Deployment中含有2个Pod,2个Pod同时挂载了同一CPFS智算版文件系统。您可以通过以下方式进行验证:

  • 在一个Pod中创建文件,然后另一个Pod中查看文件,以此来验证共享存储。

  • 重建Deployment,然后在新创建的Pod中查看文件系统中的数据是否存在,以此来验证持久化存储。

  1. 查看Pod信息。

    kubectl get pod | grep cpfs-test

    返回示例如下:

    cpfs-test-****-***a   1/1     Running   0          45s
    cpfs-test-****-***b   1/1     Running   0          45s
  2. 验证共享存储。

    1. 在一个Pod中创建文件。

      以名为cpfs-test-****-***a的Pod作为示例:

      kubectl exec cpfs-test-****-***a -- touch /data/test.txt
    2. 在另一个Pod中查看文件。

      以名为cpfs-test-****-***b的Pod作为示例:

      kubectl exec cpfs-test-****-***b -- ls /data

      预期返回如下,可以看到已共享新建的文件test.txt

      test.txt
  3. 验证持久化存储。

    1. 重建Deployment。

      kubectl rollout restart deploy cpfs-test
    2. 查看Pod,等待新Pod创建成功。

      kubectl get pod | grep cpfs-test

      返回示例如下:

      cpfs-test-****-***c   1/1     Running   0          78s
      cpfs-test-****-***d   1/1     Running   0          52s
    3. 在新Pod中查看文件系统中的数据是否存在。

      以名为cpfs-test-c***的Pod作为示例:

      kubectl exec cpfs-test-****-***c -- ls /data

      预期返回如下,可以看到CPFS智算版文件系统中的数据依然存在,在新Pod的挂载目录下可以重新获取。

      test.txt