使用CPFS静态卷实现持久化存储_容器计算服务(ACS)-阿里云帮助中心

文件存储CPFS是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS支持成百上千的机器同时访问，拥有数十GB的吞吐量、数百万的IOPS能力，同时还能保证亚毫秒级的延时。本文介绍如何在ACS中挂载CPFS存储卷，并验证CPFS的共享存储和持久化存储。

功能介绍

CPFS包含通用版和智算版两种版本，请根据您的业务场景和存储性能需求进行选择。两者的应用场景和差异对比请参见CPFS产品概述。

挂载前，请了解以下注意事项：

CPFS智算版目前处于邀测中，仅部分地域和可用区支持。
CPFS为共享存储，一个CPFS存储卷可以挂载到多个Pod上。
CPFS对不同计算类型的ACS Pod的支持情况如下：
规格
CPU类型
GPU类型
CPFS通用版
支持
支持
CPFS智算版
支持
仅部分GPU型号支持。具体请提交工单咨询。

前提条件

ACS集群中已安装managed-csiprovisioner组件。

说明

您可以在ACS集群管理页的左侧导航栏选择运维管理 > 组件管理，在存储页签下查看managed-csiprovisioner组件的安装情况。

创建CPFS文件系统

CPFS通用版

创建CPFS通用版文件系统。
创建完成后，请记录文件系统ID。
创建协议服务。
请使用ACS集群对应的VPC和交换机创建协议服务，生成目录级挂载点。创建完成后，请记录导出目录的挂载点域名，格式为cpfs-***-***.<Region>.cpfs.aliyuncs.com。

CPFS智算版

创建CPFS智算版文件系统。
创建完成后，请记录文件系统ID。
（可选）创建VPC挂载点。
- 在CPU类型的Pod中挂载CPFS智算版需要创建VPC挂载点。
- 在GPU类型的Pod中挂载CPFS智算版不需要创建VPC挂载点。
请使用ACS集群对应的VPC和交换机创建VPC挂载点，生成挂载地址。创建完成后，请记录挂载点域名，格式为cpfs-***-vpc-***.<Region>.cpfs.aliyuncs.com。

挂载CPFS存储卷

步骤一：创建PV和PVC

kubectl

将以下YAML内容保存为cpfs-pv-pvc.yaml。

请根据您使用的CPFS版本和要挂载的Pod的计算类型，选择对应的YAML。

CPFS通用版

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cpfs-test
  labels:
    alicloud-pvname: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 10Ti
  csi:
    driver: nasplugin.csi.alibabacloud.com
    volumeAttributes:
      mountProtocol: cpfs-nfs
      server: cpfs-***-***.cn-wulanchabu.cpfs.aliyuncs.com
      path: /share
    volumeHandle: cpfs-*****
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  selector:
    matchLabels:
      alicloud-pvname: cpfs-test
  resources:
    requests:
      storage: 10Ti

PV参数

参数	说明
`labels`	设置Label，以便PVC使用`selector`进行匹配绑定。
`accessModes`	PV的访问模式。
`capacity.storage`	声明存储卷容量。
`csi.driver`	驱动类型，设置为`nasplugin.csi.alibabacloud.com`。
`csi.volumeAttributes`	CPFS存储卷的属性。 `mountProtocol`设置为`cpfs-nfs`。 `server`设置为CPFS通用版协议服务导出目录的挂载点域名。 `path`设置为CPFS通用版协议服务导出目录对应路径，例如`/share`。支持设置为子目录，例如`/share/dir`。
`csi.volumeHandle`	CPFS通用版文件系统ID。

PVC参数
参数
说明
accessModes
PVC请求PV的访问模式。
selector
使用PV上的Label进行匹配绑定。
resources.requests.storage
分配给Pod的存储容量。不大于PV容量即可。

CPFS智算版（挂载到GPU Pod）

重要

仅支持挂载到部分GPU型号的Pod。具体请提交工单咨询。

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cpfs-test
  labels:
    alicloud-pvname: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 10Ti
  csi:
    driver: povplugin.csi.alibabacloud.com
    volumeAttributes:
      filesystemId: bmcpfs-*****
      path: /
    volumeHandle: bmcpfs-*****
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  selector:
    matchLabels:
      alicloud-pvname: cpfs-test
  resources:
    requests:
      storage: 10Ti

PV参数

参数	说明
`labels`	设置Label，以便PVC使用`selector`进行匹配绑定。
`accessModes`	PV的访问模式。
`capacity.storage`	声明存储卷容量。
`csi.driver`	驱动类型，设置为`povplugin.csi.alibabacloud.com`。
`csi.volumeAttributes`	CPFS存储卷的属性。 `filesystemId`：CPFS智算版文件系统ID。 `path`：默认为`/`表示挂载CPFS文件系统的根目录，支持设置为子目录，如`/dir`。如果子目录不存在，会在挂载时被自动创建。
`csi.volumeHandle`	CPFS智算版文件系统ID。

PVC参数
参数
说明
accessModes
PVC请求PV的访问模式。
selector
使用PV上的Label进行匹配绑定。
resources.requests.storage
分配给Pod的存储容量。不大于PV容量即可。

CPFS智算版（挂载到CPU Pod）

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cpfs-test
  labels:
    alicloud-pvname: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 10Ti
  csi:
    driver: nasplugin.csi.alibabacloud.com
    volumeAttributes:
      mountProtocol: efc
      server: cpfs-***-vpc-***.cn-wulanchabu.cpfs.aliyuncs.com
      path: /
    volumeHandle: bmcpfs-*****
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cpfs-test
spec:
  accessModes:
  - ReadWriteMany
  selector:
    matchLabels:
      alicloud-pvname: cpfs-test
  resources:
    requests:
      storage: 10Ti

PV参数

参数	说明
`labels`	设置Label，以便PVC使用`selector`进行匹配绑定。
`accessModes`	访问模式。
`capacity.storage`	声明存储卷容量。
`csi.driver`	驱动类型，设置为`povplugin.csi.alibabacloud.com`。
`csi.volumeAttributes`	CPFS存储卷的属性。 `mountProtocol`：挂载协议，设置为`efc`。 `server`：CPFS文件系统的VPC挂载点域名。 `path`：默认为`/`表示挂载CPFS文件系统的根目录，支持设置为子目录，如`/dir`。
`csi.volumeHandle`	CPFS智算版文件系统ID。

PVC参数
参数
说明
accessModes
PVC请求PV的访问模式。
selector
使用PV上的Label进行匹配绑定。
resources.requests.storage
分配给Pod的存储容量。不大于PV容量即可。

创建PV和PVC。
```
kubectl create -f cpfs-pv-pvc.yaml
```

确认PVC已绑定PV。

kubectl get pvc cpfs-test

返回示例如下：

NAME        STATUS   VOLUME           CAPACITY   ACCESS MODES   STORAGECLASS    VOLUMEATTRIBUTESCLASS   AGE
cpfs-test   Bound    cpfs-test        10Ti       RWX            <unset>         <unset>                 10s

控制台

登录容器计算服务控制台。
在集群列表页面，单击目标集群名称，进入该集群的管理页面。
在集群管理页面的左侧导航栏，选择存储 > 存储声明。
在存储声明页面，单击创建。

在弹出的对话框中，完成参数配置，然后单击创建。

以下为创建PVC的同时创建PV的参数说明，您也可以单独创建PV再创建PVC。

说明

控制台操作时，暂不支持通过VPC挂载点的方式为CPU应用挂载CPFS智算版。

参数	说明	示例
存储声明类型	选择CPFS。	CPFS
名称	PVC名称，自定义输入。格式要求请参考界面提示。	cpfs-test
分配模式	根据需要选择已有存储卷和创建存储卷。	创建存储卷
CPFS类型	按需选择CPFS智算版或CPFS通用版。	CPFS智算版
访问模式	支持ReadWriteMany和ReadWriteOnce。	ReadWriteMany
挂载点域名	使用CPFS通用版时，配置要挂载的CPFS文件系统目录。如果输入挂载点地址，例如`cpfs-*-.cn-wulanchabu.cpfs.aliyuncs.com`，则表示挂载的目录为CPFS文件系统的根目录（`/`）。如果输入挂载点地址和子目录，例如`cpfs--*.cn-wulanchabu.cpfs.aliyuncs.com:/dir`，则表示挂载的目录为CPFS文件系统的`/dir`目录。如果`/dir`目录不存在，系统会自动新建。	`cpfs-*-*.cn-wulanchabu.cpfs.aliyuncs.com`
文件系统ID	使用CPFS智算版时，配置要挂载的CPFS智算版文件系统ID。	bmcpfs-0115******13q5

查看创建的PVC和PVC。
在存储声明页面和存储卷页面，可以看到新创建的PVC和PV，确认两者已绑定。

步骤二：创建应用并挂载CPFS

kubectl

使用以下YAML内容，创建cpfs-test.yaml文件。

GPU应用

以下YAML示例可以创建包含2个Pod的Deployment，2个Pod均通过alibabacloud.com/compute-class: gpu标签声明要使用GPU型算力，并且通过名为cpfs-test的PVC申请存储资源，挂载路径均为/data。

说明

关于GPU卡具体型号，请参见为ACS GPU Pod指定GPU型号和驱动版本。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cpfs-test
  labels:
    app: cpfs-test
spec:
  replicas: 2
  selector:
    matchLabels:
      app: cpfs-test
  template:
    metadata:
      labels:
        app: cpfs-test
        # 指定计算类型为GPU型
        alibabacloud.com/compute-class: gpu
        # 指定GPU型号，请按实际情况填写，如T4
        alibabacloud.com/gpu-model-series: T4
        alibabacloud.com/compute-qos: default
    spec:
      containers:
      - name: nginx
        image: registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest
        ports:
        - containerPort: 80
        volumeMounts:
          - name: pvc-cpfs
            mountPath: /data
      volumes:
        - name: pvc-cpfs
          persistentVolumeClaim:
            claimName: cpfs-test

CPU应用

以下YAML示例可以创建包含2个Pod的Deployment，通过名为cpfs-test的PVC申请存储资源，挂载路径均为/data。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cpfs-test
  labels:
    app: cpfs-test
spec:
  replicas: 2
  selector:
    matchLabels:
      app: cpfs-test
  template:
    metadata:
      labels:
        app: cpfs-test
    spec:
      containers:
      - name: nginx
        image: registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest
        ports:
        - containerPort: 80
        volumeMounts:
          - name: pvc-cpfs
            mountPath: /data
      volumes:
        - name: pvc-cpfs
          persistentVolumeClaim:
            claimName: cpfs-test

创建Deployment并挂载CPFS。
```
kubectl create -f cpfs-test.yaml
```

查看Deployment中Pod的部署情况。

kubectl get pod | grep cpfs-test

返回示例如下，已创建2个Pod。

cpfs-test-****-***a   1/1     Running   0          45s
cpfs-test-****-***b   1/1     Running   0          45s

查看挂载路径。
命令示例如下，预期会返回CPFS智算版文件系统挂载目录下的数据。默认为空。
```
kubectl exec cpfs-test-****-***a -- ls /data
```

控制台

在集群管理页面的左侧导航栏，选择工作负载 > 无状态。
在无状态页面，单击使用镜像创建。

完成Deployment的参数配置，单击创建。

需要注意的参数如下，其他参数保持默认即可。更多信息，请参见创建无状态工作负载Deployment。

GPU应用

配置页	参数	说明	示例
应用基本信息	应用名称	Deployment名称，自定义输入。格式要求请参考界面提示。	cpfs-test
	副本数量	配置Deployment的副本数量。	2
	实例类型	选择Pod的计算类型。说明关于GPU卡具体型号，请参见为ACS GPU Pod指定GPU型号和驱动版本。	GPU，T4
容器配置	镜像名称	输入用于部署应用的镜像地址。	registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest
	所需资源	设置所需的GPU、vCPU和内存资源。	GPU：1 CPU：2 vCPU 内存：2 GiB
	数据卷	单击增加云存储声明，然后完成参数配置。挂载源：选择之前创建的PVC。容器路径：输入CPFS文件系统要挂载到的容器路径。	挂载源：pvc-cpfs 容器路径：/data

CPU应用

配置页	参数	说明	示例
应用基本信息	应用名称	Deployment名称，自定义输入。格式要求请参考界面提示。	cpfs-test
	副本数量	配置Deployment的副本数量。	2
	实例类型	选择Pod的计算类型。	CPU，通用型
容器配置	镜像名称	输入用于部署应用的镜像地址。	registry.cn-hangzhou.aliyuncs.com/acs-sample/nginx:latest
	所需资源	设置所需的vCPU和内存资源。	CPU：0.25 vCPU 内存：0.5 GiB
	数据卷	单击增加云存储声明，然后完成参数配置。挂载源：选择之前创建的PVC。容器路径：输入CPFS文件系统要挂载到的容器路径。	挂载源：pvc-cpfs 容器路径：/data

查看应用部署情况。
1. 在无状态页面，单击应用名称。
2. 在容器组页签下，确认Pod已正常运行（状态为Running）。

验证CPFS的共享存储和持久化存储

按照上文示例创建的Deployment中含有2个Pod，2个Pod同时挂载了同一CPFS文件系统。您可以通过以下方式进行验证：

在一个Pod中创建文件，然后另一个Pod中查看文件，以此来验证共享存储。
重建Deployment，然后在新创建的Pod中查看文件系统中的数据是否存在，以此来验证持久化存储。

查看Pod信息。

kubectl get pod | grep cpfs-test

返回示例如下：

cpfs-test-****-***a   1/1     Running   0          45s
cpfs-test-****-***b   1/1     Running   0          45s

验证共享存储。
1. 在一个Pod中创建文件。
  以名为cpfs-test-****-***a的Pod作为示例：
```
kubectl exec cpfs-test-****-***a -- touch /data/test.txt
```
2. 在另一个Pod中查看文件。
  以名为cpfs-test-****-***b的Pod作为示例：
```
kubectl exec cpfs-test-****-***b -- ls /data
```
  预期返回如下，可以看到已共享新建的文件test.txt。
```
test.txt
```
验证持久化存储。
1. 重建Deployment。
```
kubectl rollout restart deploy cpfs-test
```
2. 查看Pod，等待新Pod创建成功。
```
kubectl get pod | grep cpfs-test
```
  返回示例如下：
```
cpfs-test-****-***c   1/1     Running   0          78s
cpfs-test-****-***d   1/1     Running   0          52s
```
3. 在新Pod中查看文件系统中的数据是否存在。
  以名为cpfs-test-c***的Pod作为示例：
```
kubectl exec cpfs-test-****-***c -- ls /data
```
  预期返回如下，可以看到CPFS文件系统中的数据依然存在，在新Pod的挂载目录下可以重新获取。
```
test.txt
```

规格	CPU类型	GPU类型
CPFS通用版	支持	支持
CPFS智算版	支持	仅部分GPU型号支持。具体请提交工单咨询。

参数	说明
`accessModes`	PVC请求PV的访问模式。
`selector`	使用PV上的Label进行匹配绑定。
`resources.requests.storage`	分配给Pod的存储容量。不大于PV容量即可。

参数	说明
`accessModes`	PVC请求PV的访问模式。
`selector`	使用PV上的Label进行匹配绑定。
`resources.requests.storage`	分配给Pod的存储容量。不大于PV容量即可。

参数	说明
`accessModes`	PVC请求PV的访问模式。
`selector`	使用PV上的Label进行匹配绑定。
`resources.requests.storage`	分配给Pod的存储容量。不大于PV容量即可。