对于AIGC、自动驾驶等智算场景,可以选择CPFS智算版作为持久化存储卷。本文介绍如何为应用静态挂载CPFS存储卷,并验证CPFS的共享存储和持久化存储。
背景信息
CPFS智算版是阿里云文件存储CPFS推出的一款超高性能的文件存储服务,支持端到端RDMA网络,适用于AIGC、自动驾驶等智算场景。更多信息,请参见存储概述。
目前ACS仅支持使用CPFS智算版,不支持CPFS通用版。CPFS智算版目前处于邀测中,更多信息,请参见CPFS智算版。
前提条件
ACS集群中已安装最新版本的managed-csiprovisioner组件。
您可以在ACS集群管理页的左侧导航栏选择
,在存储页签下查看managed-csiprovisioner组件的安装情况。使用限制
仅支持在高性能网络GPU型工作负载中挂载CPFS智算版文件系统。
仅部分地域和可用区支持创建CPFS智算版文件系统,具体请参见CPFS智算版。
注意事项
CPFS为共享存储。一个CPFS存储卷可以挂载到多个Pod上。
CPFS智算版采用按量计费,具体请参见CPFS智算版。
创建CPFS智算版文件系统
CPFS智算版目前处于邀测中,您需要提交工单,申请添加CPFS智算版服务使用白名单后,才能创建CPFS智算版文件系统。更多信息,请参见创建CPFS智算版文件系统。
静态挂载CPFS存储卷
步骤一:创建PVC
连接集群。具体操作,请参见获取集群KubeConfig并通过kubectl工具连接集群或在CloudShell上通过kubectl管理Kubernetes集群。
将以下YAML内容保存为cpfs-pvc.yaml。
kind: PersistentVolumeClaim apiVersion: v1 metadata: name: cpfs-pvc annotations: csi.alibabacloud.com/mountpoint: bmcpfs-*****:/dir spec: accessModes: - ReadWriteMany resources: requests: storage: 20Gi storageClassName: alibaba-cloud-cpfs-premium
相关参数说明如下:
参数
说明
csi.alibabacloud.com/mountpoint
要挂载的CPFS文件系统目录。
如果输入CPFS智算版文件系统ID,例如
bmcpfs-*****
,则表示挂载的目录为CPFS文件系统的根目录(/
)。如果输入CPFS智算版文件系统ID和子目录,例如
bmcpfs-*****:/dir
,则表示挂载的目录为CPFS文件系统的/dir
目录。如果/dir
目录不存在,系统会自动新建。
csi.alibabacloud.com/mount-options
挂载参数。建议使用
nolock,tcp,noresvport
。accessModes
访问模式。
storage
分配给Pod的存储容量,即要创建的CPFS存储卷容量。
创建PVC。
kubectl create -f cpfs-pvc.yaml
步骤二:创建应用并挂载CPFS
使用以下YAML内容,创建cpfs-test.yaml文件。
以下YAML示例可以创建包含2个Pod的Deployment,2个Pod均通过
alibabacloud.com/compute-class: gpu-hpn
声明要使用GPU型算力,并且通过名为cpfs-pvc
的PVC申请存储资源,挂载路径均为/data
。apiVersion: apps/v1 kind: Deployment metadata: name: cpfs-test labels: app: cpfs-test spec: replicas: 2 selector: matchLabels: app: cpfs-test template: metadata: labels: app: cpfs-test alibabacloud.com/compute-class: gpu-hpn spec: containers: - name: nginx image: registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest ports: - containerPort: 80 volumeMounts: - name: pvc-cpfs mountPath: /data volumes: - name: pvc-cpfs persistentVolumeClaim: claimName: cpfs-pvc
创建Deployment并挂载CPFS。
kubectl create -f cpfs-test.yaml
查看Deployment中Pod的部署情况。
kubectl get pod | grep cpfs-test
返回示例如下,已创建2个Pod。
cpfs-test-****-***a 1/1 Running 0 45s cpfs-test-****-***b 1/1 Running 0 45s
查看挂载路径。
命令示例如下,预期会返回CPFS智算版文件系统挂载目录下的数据。默认为空。
kubectl exec cpfs-test-****-***a -- ls /data
验证CPFS的共享存储和持久化存储
按照上文示例创建的Deployment中含有2个Pod,2个Pod同时挂载了同一CPFS智算版文件系统。您可以通过以下方式进行验证:
在一个Pod中创建文件,然后另一个Pod中查看文件,以此来验证共享存储。
重建Deployment,然后在新创建的Pod中查看文件系统中的数据是否存在,以此来验证持久化存储。
查看Pod信息。
kubectl get pod | grep cpfs-test
返回示例如下:
cpfs-test-****-***a 1/1 Running 0 45s cpfs-test-****-***b 1/1 Running 0 45s
验证共享存储。
在一个Pod中创建文件。
以名为
cpfs-test-****-***a
的Pod作为示例:kubectl exec cpfs-test-****-***a -- touch /data/test.txt
在另一个Pod中查看文件。
以名为
cpfs-test-****-***b
的Pod作为示例:kubectl exec cpfs-test-****-***b -- ls /data
预期返回如下,可以看到已共享新建的文件
test.txt
。test.txt
验证持久化存储。
重建Deployment。
kubectl rollout restart deploy cpfs-test
查看Pod,等待新Pod创建成功。
kubectl get pod | grep cpfs-test
返回示例如下:
cpfs-test-****-***c 1/1 Running 0 78s cpfs-test-****-***d 1/1 Running 0 52s
在新Pod中查看文件系统中的数据是否存在。
以名为
cpfs-test-c***
的Pod作为示例:kubectl exec cpfs-test-****-***c -- ls /data
预期返回如下,可以看到CPFS智算版文件系统中的数据依然存在,在新Pod的挂载目录下可以重新获取。
test.txt