LLM推理用NAS创建带有模型的存储卷

更新时间:
复制为 MD 格式

本文主要帮助客户创建带有开源模型或客户私有模型的NAS存储卷。

前提条件

开通阿里云NAS

说明

挂载NAS存储卷有两种方式静态挂载NAS存储卷动态挂载NAS存储卷

1. 创建NAS存储卷

1.1 创建NAS动态存储卷

  1. 创建StorageClass。

    1. 登录容器计算服务管理控制台,在左侧导航栏选择集群

    2. 在集群列表页面,单击目标集群名称,在目标集群使用YAML创建StorageClass。image.jpeg

      apiVersion: storage.k8s.io/v1
      kind: StorageClass
      metadata:
        name: alicloud-nas-fs
      mountOptions:
      - nolock,tcp,noresvport
      - vers=3
      parameters:
        volumeAs: filesystem
        fileSystemType: standard
        storageType: Capacity
        regionId: cn-wulanchabu
        zoneId: cn-wulanchabu-c
        vpcId: "vpc-0jls8wxxxxl7urym48"
        vSwitchId: "vsw-0jl2nxxxxxhiuun00t"
        accessGroupName: DEFAULT_VPC_GROUP_NAME
        deleteVolume: "false"
      provisioner: nasplugin.csi.alibabacloud.com
      reclaimPolicy: Retain
      说明

      regionIdACS集群所属地域保持一致。

      vpcld、vSwitchldNAS文件系统挂载点所属的VPC ID和交换机ID。需配置为ACS集群中 Pod使用的VPC ID和交换机ID。

      更多参数说明请参见帮助文档动态挂载NAS存储卷

    3. 创建成功后,在集群左侧导航栏,选择存储>存储类,可以看到创建成功的NAS存储卷image.jpeg

  2. 创建PVC。

    1. 在容器计算服务管理控制台,使用YAML创建PVCimage.jpeg创建PVCYAML示例代码。

      kind: PersistentVolumeClaim
      apiVersion: v1
      metadata:
        name: nas-pvc-fs #此为存储声明的名称,为后续配置deploymentpod时的
      ClaimName
      spec:
        accessModes:
          - ReadWriteMany
      storageClassName: alicloud-nas-fs
      resources:
        requests:
          storage: 200Gi
    2. 创建成功后,在集群左侧导航栏,选择存储>存储类,可以看到创建成功的NAS存储卷。如果存储声明为"Bound"状态,说明创建成功。您可以前往NAS文件系统控制台查看创建的NAS文件系统。image.jpeg

      说明

      您也可以通过kubectl命令行方式创建NAS存储,具体操作说明请参见动态挂载NAS存储卷

1.2 创建NAS静态存储卷

  1. 登录NAS控制台,创建NAS文件系统和挂载点。(购买的NAS需和ACS集群在同 一个可用区,且选择VPC时需要选择和ACS集群同一VPC,否则无法正常连接 NAS)。创建文件系统后,推荐购买资源包进行包年包月抵扣。中国内地各地域中,可节省至少10%容量费用。购买完成后,无须绑定操作即开始自动抵扣。image.jpeg获取NAS域名:NAS购买成功后,返回文件系统列表,点击购买的NAS,选择挂载使用,复制挂载点地址。image.jpeg

  2. ACS控制台页面创建存储声明PVC。

    1. 在集群列表页面,单击目标集群名称,在左侧导航栏,单击存储->存储声明。

    2. 选择上文中任务所在的命名空间,点击创建。

    3. 选择NAS并使用挂载点域名创建。image.jpeg

    4. 名称与上文Deployment YAML示例中claimName一致,比如上图中为yunjing-nas,挂载点域名填入已创建NAS后获取的NAS域名。

    5. 点击创建。

2. 模型下载

NAS存储卷创建成功后,需要先将模型文件下载至NAS中。

  1. 登录ECS控制台,购买同一VPC下的ECS。

  2. NAS挂载在ECS的目录下。

    1. NAS文件系统列表下找到创建的NAS,点击"挂载",选择挂载点,并在下一步,选择要挂载到的ECS实例。image.jpeg

    2. 填入挂载路径,以挂载在/mnt目录为例,完成挂载。image.jpeg

    3. 登录到ECS实例,通过df-h可以看到NAS挂载在ECS/mnt目录。image.jpeg

  3. 将模型文件下载到ECS的/mnt目录下。modelscope是阿里达摩院提供的开源模型平台,本文以下载modelscope格式的开源模型为例。

    1. 进入modelscope官网,搜索模型名称(例如qwen2.5-72b)。

    2. 在搜索页面的模型库区域,单击通义千问2.5-72B-Instruct。

    3. 单击模型文件->下载模型,modelscope提供了多种方式进行本模型的下载。此处以modelscope命令方式为例。image.jpegECS实例内执行如下命令下载模型文件。

      cd/mnt      # 此路径为NAS挂载路径
      pip install modelscope
      modelscope download--model Qwen/Qwen2.5-72B-Instruct--local_dir 
      ./Qwen2.5-72B-Instruct