LLM推理用NAS创建带有模型的存储卷
本文主要帮助客户创建带有开源模型或客户私有模型的NAS存储卷。
前提条件
已开通阿里云NAS。
挂载NAS存储卷有两种方式静态挂载NAS存储卷和动态挂载NAS存储卷。
1. 创建NAS存储卷
1.1 创建NAS动态存储卷
创建StorageClass。
登录容器计算服务管理控制台,在左侧导航栏选择集群。
在集群列表页面,单击目标集群名称,在目标集群使用YAML创建StorageClass。

apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: alicloud-nas-fs mountOptions: - nolock,tcp,noresvport - vers=3 parameters: volumeAs: filesystem fileSystemType: standard storageType: Capacity regionId: cn-wulanchabu zoneId: cn-wulanchabu-c vpcId: "vpc-0jls8wxxxxl7urym48" vSwitchId: "vsw-0jl2nxxxxxhiuun00t" accessGroupName: DEFAULT_VPC_GROUP_NAME deleteVolume: "false" provisioner: nasplugin.csi.alibabacloud.com reclaimPolicy: Retain说明regionId与ACS集群所属地域保持一致。
vpcld、vSwitchld为NAS文件系统挂载点所属的VPC ID和交换机ID。需配置为ACS集群中 Pod使用的VPC ID和交换机ID。
更多参数说明请参见帮助文档动态挂载NAS存储卷
创建成功后,在集群左侧导航栏,选择存储>存储类,可以看到创建成功的NAS存储卷

创建PVC。
在容器计算服务管理控制台,使用YAML创建PVC
创建PVC的YAML示例代码。kind: PersistentVolumeClaim apiVersion: v1 metadata: name: nas-pvc-fs #此为存储声明的名称,为后续配置deployment或pod时的 ClaimName spec: accessModes: - ReadWriteMany storageClassName: alicloud-nas-fs resources: requests: storage: 200Gi创建成功后,在集群左侧导航栏,选择存储>存储类,可以看到创建成功的NAS存储卷。如果存储声明为"Bound"状态,说明创建成功。您可以前往NAS文件系统控制台查看创建的NAS文件系统。
说明您也可以通过kubectl命令行方式创建NAS存储,具体操作说明请参见动态挂载NAS存储卷。
1.2 创建NAS静态存储卷
登录NAS控制台,创建NAS文件系统和挂载点。(购买的NAS需和ACS集群在同 一个可用区,且选择VPC时需要选择和ACS集群同一VPC,否则无法正常连接 NAS)。创建文件系统后,推荐购买资源包进行包年包月抵扣。中国内地各地域中,可节省至少10%容量费用。购买完成后,无须绑定操作即开始自动抵扣。
获取NAS域名:NAS购买成功后,返回文件系统列表,点击购买的NAS,选择挂载使用,复制挂载点地址。
在ACS控制台页面创建存储声明PVC。
在集群列表页面,单击目标集群名称,在左侧导航栏,单击存储->存储声明。
选择上文中任务所在的命名空间,点击创建。
选择NAS并使用挂载点域名创建。

名称与上文Deployment YAML示例中claimName一致,比如上图中为
yunjing-nas,挂载点域名填入已创建NAS后获取的NAS域名。点击创建。
2. 模型下载
NAS存储卷创建成功后,需要先将模型文件下载至NAS中。
登录ECS控制台,购买同一VPC下的ECS。
将NAS挂载在ECS的目录下。
在NAS文件系统列表下找到创建的NAS,点击"挂载",选择挂载点,并在下一步,选择要挂载到的ECS实例。

填入挂载路径,以挂载在/mnt目录为例,完成挂载。

登录到ECS实例,通过df-h可以看到NAS挂载在ECS/mnt目录。

将模型文件下载到ECS的/mnt目录下。modelscope是阿里达摩院提供的开源模型平台,本文以下载modelscope格式的开源模型为例。
进入modelscope官网,搜索模型名称(例如qwen2.5-72b)。
在搜索页面的模型库区域,单击通义千问2.5-72B-Instruct。
单击模型文件->下载模型,modelscope提供了多种方式进行本模型的下载。此处以modelscope命令方式为例。
在ECS实例内执行如下命令下载模型文件。cd/mnt # 此路径为NAS挂载路径 pip install modelscope modelscope download--model Qwen/Qwen2.5-72B-Instruct--local_dir ./Qwen2.5-72B-Instruct





