在ACK集群上通过容器化部署并运行Slurm

Kubernetes集群管理员

由于集群管理员拥有Kubernetes集群的操作权限，SlurmCluster对于Kubernetes集群管理员来说是一个运行在集群中的Pod，因此Kubernetes集群管理员可以使用kubectl命令行工具登录到集群中任意SlurmCluster的任意Pod上，且将自动拥有SlurmCluster的Root用户的权限。

执行以下命令，可以登录到SlurmCluster的任意Pod上。

# 将slurm-job-demo-head-x9sgs替换成您集群中具体的Pod名。
kubectl exec -it slurm-job-demo-xxxxx -- bash

SlurmCluster普通用户

SlurmCluster的管理员或SlurmCluster的普通用户可能没有kubectl exec命令的权限，在使用集群时需要通过SSH登录的方式登录到已创建的SlurmCluster中。

• 通过Service的ExternalIP登录Head Pod是更持久和可扩展的方案，适合需要长期稳定访问的场景。通过负载均衡器和External IP，可以从内网的任何位置访问到SlurmCluster。

• 通过Port-forward转发请求是临时性的解决方案，适用于短期运维或调试需求，因为它依赖于持续运行的kubectl port-forward命令。

节点间的用户同步

由于Slurm本身不提供集中化的用户认证服务，当使用sbatch提交作业至SlurmCluster时，如果目标节点上没有与提交作业用户对应的账户，作业可能无法执行。为解决该问题，您可以通过为SlurmCluster配置LDAP（Lightweight Directory Access Protocol）进行用户管理，利用LDAP作为一个集中认证的后端，让Slurm能够依托此服务验证用户身份。具体操作如下所示：

1. 拷贝以下YAML内容至ldap.yaml文件中，创建一个基础的LDAP服务实例，用于存储和管理用户信息。

   ldap.yaml文件定义了一个LDAP后端Pod和对应的Service。Pod包含LDAP服务的容器，而Service则暴露了LDAP服务，使其在网络中可访问。

   展开查看LDAP后端Pod和对应的Service

   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     namespace: default
     name: ldap
     labels:
       app: ldap
   spec:
     selector:
       matchLabels:
         app: ldap
     revisionHistoryLimit: 10
     template:
       metadata:
         labels:
           app: ldap
       spec:
         securityContext:
           seLinuxOptions: {}
         imagePullSecrets: []
         restartPolicy: Always
         initContainers: []
         containers:
           - image: 'osixia/openldap:1.4.0'
             imagePullPolicy: IfNotPresent
             name: ldap
             volumeMounts:
               - name: openldap-data
                 mountPath: /var/lib/ldap
                 subPath: data
               - name: openldap-data
                 mountPath: /etc/ldap/slapd.d
                 subPath: config
               - name: openldap-data
                 mountPath: /container/service/slapd/assets/certs
                 subPath: certs
               - name: secret-volume
                 mountPath: /container/environment/01-custom
               - name: container-run
                 mountPath: /container/run
             args:
               - '--copy-service'
             resources:
               limits:
               requests:
             env: []
             readinessProbe:
               tcpSocket:
                 port: openldap
               initialDelaySeconds: 20
               timeoutSeconds: 1
               periodSeconds: 10
               successThreshold: 1
               failureThreshold: 10
             livenessProbe:
               tcpSocket:
                 port: openldap
               initialDelaySeconds: 20
               timeoutSeconds: 1
               periodSeconds: 10
               successThreshold: 1
               failureThreshold: 10
             lifecycle: {}
             ports:
               - name: openldap
                 containerPort: 389
                 protocol: TCP
               - name: ssl-ldap-port
                 containerPort: 636
                 protocol: TCP
         volumes:
           - name: openldap-data
             emptyDir: {}
           - name: secret-volume
             secret:
               secretName: ldap-secret
               defaultMode: 420
               items: []
           - name: container-run
             emptyDir: {}
         dnsPolicy: ClusterFirst
         dnsConfig: {}
         terminationGracePeriodSeconds: 30
     progressDeadlineSeconds: 600
     strategy:
       type: RollingUpdate
       rollingUpdate:
         maxUnavailable: 25%
         maxSurge: 25%
     replicas: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     annotations: {}
     labels:
       app: ldap
     name: ldap-service
     namespace: default
   spec:
     ports:
       - name: openldap
         port: 389
         protocol: TCP
         targetPort: openldap
       - name: ssl-ldap-port
         port: 636
         protocol: TCP
         targetPort: ssl-ldap-port
     selector:
       app: ldap
     sessionAffinity: None
     type: ClusterIP
   ---
   metadata:
     name: ldap-secret
     namespace: default
     annotations: {}
   data:
     env.startup.yaml: >-
       IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIHN0YXJ0dXAgY29uZmlndXJhdGlvbiBmaWxlCiMgdGhpcyBmaWxlIGRlZmluZSBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBkdXJpbmcgdGhlIGNvbnRhaW5lciAqKmZpcnN0IHN0YXJ0KiogaW4gKipzdGFydHVwIGZpbGVzKiouCgojIFRoaXMgZmlsZSBpcyBkZWxldGVkIHJpZ2h0IGFmdGVyIHN0YXJ0dXAgZmlsZXMgYXJlIHByb2Nlc3NlZCBmb3IgdGhlIGZpcnN0IHRpbWUsCiMgYWZ0ZXIgdGhhdCBhbGwgdGhlc2UgdmFsdWVzIHdpbGwgbm90IGJlIGF2YWlsYWJsZSBpbiB0aGUgY29udGFpbmVyIGVudmlyb25tZW50LgojIFRoaXMgaGVscHMgdG8ga2VlcCB5b3VyIGNvbnRhaW5lciBjb25maWd1cmF0aW9uIHNlY3JldC4KIyBtb3JlIGluZm9ybWF0aW9uIDogaHR0cHM6Ly9naXRodWIuY29tL29zaXhpYS9kb2NrZXItbGlnaHQtYmFzZWltYWdlCgojIFJlcXVpcmVkIGFuZCB1c2VkIGZvciBuZXcgbGRhcCBzZXJ2ZXIgb25seQpMREFQX09SR0FOSVNBVElPTjogRXhhbXBsZSBJbmMuCkxEQVBfRE9NQUlOOiBleGFtcGxlLm9yZwpMREFQX0JBU0VfRE46ICNpZiBlbXB0eSBhdXRvbWF0aWNhbGx5IHNldCBmcm9tIExEQVBfRE9NQUlOCgpMREFQX0FETUlOX1BBU1NXT1JEOiBhZG1pbgpMREFQX0NPTkZJR19QQVNTV09SRDogY29uZmlnCgpMREFQX1JFQURPTkxZX1VTRVI6IGZhbHNlCkxEQVBfUkVBRE9OTFlfVVNFUl9VU0VSTkFNRTogcmVhZG9ubHkKTERBUF9SRUFET05MWV9VU0VSX1BBU1NXT1JEOiByZWFkb25seQoKIyBCYWNrZW5kCkxEQVBfQkFDS0VORDogaGRiCgojIFRscwpMREFQX1RMUzogdHJ1ZQpMREFQX1RMU19DUlRfRklMRU5BTUU6IGxkYXAuY3J0CkxEQVBfVExTX0tFWV9GSUxFTkFNRTogbGRhcC5rZXkKTERBUF9UTFNfQ0FfQ1JUX0ZJTEVOQU1FOiBjYS5jcnQKCkxEQVBfVExTX0VORk9SQ0U6IGZhbHNlCkxEQVBfVExTX0NJUEhFUl9TVUlURTogU0VDVVJFMjU2Oi1WRVJTLVNTTDMuMApMREFQX1RMU19QUk9UT0NPTF9NSU46IDMuMQpMREFQX1RMU19WRVJJRllfQ0xJRU5UOiBkZW1hbmQKCiMgUmVwbGljYXRpb24KTERBUF9SRVBMSUNBVElPTjogZmFsc2UKIyB2YXJpYWJsZXMgJExEQVBfQkFTRV9ETiwgJExEQVBfQURNSU5fUEFTU1dPUkQsICRMREFQX0NPTkZJR19QQVNTV09SRAojIGFyZSBhdXRvbWF0aWNhbHkgcmVwbGFjZWQgYXQgcnVuIHRpbWUKCiMgaWYgeW91IHdhbnQgdG8gYWRkIHJlcGxpY2F0aW9uIHRvIGFuIGV4aXN0aW5nIGxkYXAKIyBhZGFwdCBMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPViBhbmQgTERBUF9SRVBMSUNBVElPTl9EQl9TWU5DUFJPViB0byB5b3VyIGNvbmZpZ3VyYXRpb24KIyBhdm9pZCB1c2luZyAkTERBUF9CQVNFX0ROLCAkTERBUF9BRE1JTl9QQVNTV09SRCBhbmQgJExEQVBfQ09ORklHX1BBU1NXT1JEIHZhcmlhYmxlcwpMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPVjogYmluZGRuPSJjbj1hZG1pbixjbj1jb25maWciIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0NPTkZJR19QQVNTV09SRCBzZWFyY2hiYXNlPSJjbj1jb25maWciIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0RCX1NZTkNQUk9WOiBiaW5kZG49ImNuPWFkbWluLCRMREFQX0JBU0VfRE4iIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0FETUlOX1BBU1NXT1JEIHNlYXJjaGJhc2U9IiRMREFQX0JBU0VfRE4iIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgaW50ZXJ2YWw9MDA6MDA6MDA6MTAgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0hPU1RTOgogIC0gbGRhcDovL2xkYXAuZXhhbXBsZS5vcmcgIyBUaGUgb3JkZXIgbXVzdCBiZSB0aGUgc2FtZSBvbiBhbGwgbGRhcCBzZXJ2ZXJzCiAgLSBsZGFwOi8vbGRhcDIuZXhhbXBsZS5vcmcKCgojIFJlbW92ZSBjb25maWcgYWZ0ZXIgc2V0dXAKTERBUF9SRU1PVkVfQ09ORklHX0FGVEVSX1NFVFVQOiB0cnVlCgojIGNmc3NsIGVudmlyb25tZW50IHZhcmlhYmxlcyBwcmVmaXgKTERBUF9DRlNTTF9QUkVGSVg6IGxkYXAgIyBjZnNzbC1oZWxwZXIgZmlyc3Qgc2VhcmNoIGNvbmZpZyBmcm9tIExEQVBfQ0ZTU0xfKiB2YXJpYWJsZXMsIGJlZm9yZSBDRlNTTF8qIHZhcmlhYmxlcy4K
     env.yaml: >-
       IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIGNvbmZpZ3VyYXRpb24gZmlsZQojIFRoZXNlIHZhbHVlcyB3aWxsIHBlcnNpc3RzIGluIGNvbnRhaW5lciBlbnZpcm9ubWVudC4KCiPCoEFsbCBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBhZnRlciB0aGUgY29udGFpbmVyIGZpcnN0IHN0YXJ0CiMgbXVzdCBiZSBkZWZpbmVkIGhlcmUuCiMgbW9yZSBpbmZvcm1hdGlvbiA6IGh0dHBzOi8vZ2l0aHViLmNvbS9vc2l4aWEvZG9ja2VyLWxpZ2h0LWJhc2VpbWFnZQoKIyBHZW5lcmFsIGNvbnRhaW5lciBjb25maWd1cmF0aW9uCiMgc2VlIHRhYmxlIDUuMSBpbiBodHRwOi8vd3d3Lm9wZW5sZGFwLm9yZy9kb2MvYWRtaW4yNC9zbGFwZGNvbmYyLmh0bWwgZm9yIHRoZSBhdmFpbGFibGUgbG9nIGxldmVscy4KTERBUF9MT0dfTEVWRUw6IDI1Ngo=
   type: Opaque
   kind: Secret
   apiVersion: v1
   

2. 执行以下命令，部署LDAP后端服务。

   kubectl apply -f ldap.yaml

   预期输出：

   deployment.apps/ldap created
   service/ldap-service created
   secret/ldap-secret created

3. （可选）拷贝以下YAML内容至phpldapadmin.yaml文件中，部署一个前端Pod和Service，用于配置前端界面以提升管理效率。

   展开查看LDAP前端Pod和对应的Service

   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     namespace: default
     name: phpldapadmin
     labels:
       io.kompose.service: phpldapadmin
   spec:
     selector:
       matchLabels:
         io.kompose.service: phpldapadmin
     revisionHistoryLimit: 10
     template:
       metadata:
         labels:
           io.kompose.service: phpldapadmin
       spec:
         securityContext:
           seLinuxOptions: {}
         imagePullSecrets: []
         restartPolicy: Always
         initContainers: []
         containers:
           - image: 'osixia/phpldapadmin:0.9.0'
             imagePullPolicy: Always
             name: phpldapadmin
             volumeMounts: []
             resources:
               limits:
               requests:
             env:
               - name: PHPLDAPADMIN_HTTPS
                 value: 'false'
               - name: PHPLDAPADMIN_LDAP_HOSTS
                 value: ldap-service
             lifecycle: {}
             ports:
               - containerPort: 80
                 protocol: TCP
         volumes: []
         dnsPolicy: ClusterFirst
         dnsConfig: {}
         terminationGracePeriodSeconds: 30
     progressDeadlineSeconds: 600
     strategy:
       type: RollingUpdate
       rollingUpdate:
         maxUnavailable: 25%
         maxSurge: 25%
     replicas: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     namespace: default
     name: phpldapadmin
     annotations:
       k8s.kuboard.cn/workload: phpldapadmin
     labels:
       io.kompose.service: phpldapadmin
   spec:
     selector:
       io.kompose.service: phpldapadmin
     type: ClusterIP
     ports:
       - port: 8080
         targetPort: 80
         protocol: TCP
         name: '8080'
         nodePort: 0
     sessionAffinity: None

   执行以下命令，部署LDAP前端服务。

   kubectl apply -f phpldapadmin.yaml

4. 按照步骤三的操作登录到SlurmCluster的具体Pod中，执行以下命令，安装LDAP客户端软件包。

   apt update
   apt install libnss-ldapd

5. 安装完libnss-ldapd软件包后，在Pod中配置SlurmCluster的网络认证服务。

   1. 执行以下命令，安装vim软件包，用于后续编辑脚本和文件。

      apt update
      apt install vim

   2. 在/etc/ldap/ldap.conf文件中编辑如下参数，配置LDAP客户端。

      ...
      BASE	dc=example,dc=org # 替换为您的LDAP基础DN。
      URI	ldap://ldap-service # 替换为您的LDAP服务器地址。
      ...

   3. 在/etc/nslcd.conf文件中编辑如下参数，定义连接到LDAP服务器。

      ...
      uri ldap://ldap-service # 替换为实际的LDAP服务器地址。
      base dc=example,dc=org # 应根据你的LDAP目录结构进行设置。
      ...
      tls_cacertfile /etc/ssl/certs/ca-certificates.crt # 指定CA证书文件的路径，用于验证LDAP服务器的证书。
      ...

日志共享与访问

默认情况下，使用sbatch生成的作业日志直接被保存在执行任务的节点上，给查看日志带来了不便。为了方便查看日志，您可以通过创建NAS文件系统，将所有的作业日志统一存储在一个可访问的位置。这样即使计算任务在不同的节点上执行，它们产生的日志都能被统一收集和保存，从而提升了日志管理的便利性。具体操作如下所示。

1. 创建一个NAS文件系统，这个文件系统将用于存储和共享各节点的日志。具体操作，请参见创建文件系统。

2. 登录容器服务管理控制台，创建NAS的相关PV（Persistent Volume）和PVC（Persistent Volume Claim）。具体操作，请参见使用NAS静态存储卷。

3. 修改SlurmCluster CR。

   对headGroupSpec和每个workerGroupSpec添加volumeMounts和volumes参数配置引用已创建的PVC，将其挂载到/home目录下。示例如下：

   headGroupSpec:
   ...
   # 新增对于/home的挂载。
     volumeMounts:
     - mountPath: /home
       name: test  # 这里为引用PVC的volume名称。
     volumes:
   # 添加PVC的定义。
     - name: test  # 这里需要与volumeMounts中的name匹配。
       persistentVolumeClaim:
         claimName: test  # 这里替换实际PVC的名称。
   ...
   workerGroupSpecs:
     # ... 对于每个workerGroupSpec重复上述volume和volumeMounts的添加过程。

4. 执行以下命令，部署SlurmCluster CR资源。

   重要

   如果SlurmCluster CR资源部署失败，请执行kubectl delete slurmcluster slurm-job-demo命令删除CR资源，然后重新部署即可成功。

   kubectl  apply -f slurmcluster.yaml

   部署后即可在不同的工作节点中拥有相同的文件系统。

集群自动扩缩容

在默认提供的Slurm镜像的根路径下包含slurm-resume.sh、slurm-suspend.sh以及slurmctld-copilot等可执行文件和脚本，它们负责与slurmctld交互以进行集群的扩缩容。

基于CloudNode的Slurm集群自动扩缩容原理

• Local Nodes：指直接连接到集群管理器、物理存在的计算节点。

• Cloud Nodes：逻辑上存在的节点，代表可通过云服务提供商按需创建和销毁的虚拟机实例。

Slurm on ACK自动扩缩容原理

操作步骤

1. 配置自动扩缩容权限（Helm安装时会自动创建Slurmctld的扩容权限，该步骤可以跳过）。

   自动扩缩容需要从Head Pod中可以访问并更新SlurmCluster CR，因此建议您在使用该能力时通过RBAC给Head Pod配置相关权限。配置相关权限包括以下两步：

   首先需要创建Slurmctld需要的ServiceAccount、Role以及RoleBinding。假设您的SlurmCluster的Name为slurm-job-demo，Namespace为default。首先在文件中保存以下内容，假设文件名为rbac.yaml：

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: slurm-job-demo
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: slurm-job-demo
   rules:
   - apiGroups: ["kai.alibabacloud.com"]
     resources: ["slurmclusters"]
     verbs: ["get", "watch", "list", "update", "patch"]
     resourceNames: ["slurm-job-demo"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: slurm-job-demo
   subjects:
   - kind: ServiceAccount
     name: slurm-job-demo
   roleRef:
     kind: Role
     name: slurm-job-demo
     apiGroup: rbac.authorization.k8s.io

   保存到文件中之后通过kubectl apply -f rbac.yaml的方式提交该资源清单。

   第二步为给Slurmctld的Pod赋予该权限。首先通过kubectl edit slurmcluster slurm-job-demo修改slurmcluster，将.Spec.Slurmctld.Template.Spec.ServiceAccountName中设置为刚刚创建的ServiceAccount。

   apiVersion: kai.alibabacloud.com/v1
   kind: SlurmCluster
   ...
   spec:
     slurmctld:
       template:
         spec:
           serviceAccountName: slurm-job-demo
   ...

   之后重建管理slurmctld的statefulset应用刚刚的修改。您可以通过kubectl get sts slurm-job-demo的方式查看到当前管理slurmctld pod的statefulset，并通过kubectl delete sts slurm-job-demo删除该statefulset，slurmoperator会重建该statefulset并应用新的配置。

2. 配置自动扩缩容文件/etc/slurm/slurm.conf。

   通过共享存储文件管理配置文件

   # 以下设置为使用CLOUDNODE时的必填项。 
   # SuspendProgram与ResumeProgram为自研功能
   SuspendTimeout=600
   ResumeTimeout=600
   # 当节点上没有任务时，将节点自动挂起的时间间隔 
   SuspendTime=600
   # 设定每分钟能够扩容或缩容的节点数量 
   ResumeRate=1
   SuspendRate=1
   # NodeName的格式必须为＄{cluster_name}-worker-${group_name}-。需要在这一行中声明节点的资源量，否则Slurmctld会
   # 将Node视为仅有 1c 资源。这里声明的资源请尽量与workerGroup中声明的资源量相同，否则可能发生资源的浪费。
   NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
   # 以下为固定配置，保持不变即可 
   CommunicationParameters=NoAddrCache
   ReconfigFlags=KeepPowerSaveSettings
   SuspendProgram="/slurm-suspend.sh"
   ResumeProgram="/slurm-resume.sh"

   通过Configmap手动管理配置文件

   假设slurm.conf存储在slurm-config的ConfigMap中，可以通过kubectl edit slurm-config，在其中添加如下配置：

   slurm.conf:
   ...
     # 以下设置为使用CLOUDNODE时的必填项。 
     # SuspendProgram与ResumeProgram为自研功能
     SuspendTimeout=600
     ResumeTimeout=600
     # 当节点上没有任务时，将节点自动挂起的时间间隔 
     SuspendTime=600
     # 设定每分钟能够扩容或缩容的节点数量 
     ResumeRate=1
     SuspendRate=1
     # NodeName的格式必须为＄{cluster_name}-worker-${group_name}-。需要在这一行中声明节点的资源量，否则Slurmctld会
     # 将Node视为仅有 1c 资源。这里声明的资源请尽量与workerGroup中声明的资源量相同，否则可能发生资源的浪费。
     NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
     # 以下为固定配置，保持不变即可 
     CommunicationParameters=NoAddrCache
     ReconfigFlags=KeepPowerSaveSettings
     SuspendProgram="/slurm-suspend.sh"
     ResumeProgram="/slurm-resume.sh"

   通过Helm管理配置文件

   1. 修改values.yaml，在其中添加如下的配置项：

      slurm.conf:
      ...
        # 以下设置为使用CLOUDNODE时的必填项。 
        # SuspendProgram与ResumeProgram为自研功能
        SuspendTimeout=600
        ResumeTimeout=600
        # 当节点上没有任务时，将节点自动挂起的时间间隔 
        SuspendTime=600
        # 设定每分钟能够扩容或缩容的节点数量 
        ResumeRate=1
        SuspendRate=1
        # NodeName的格式必须为＄{cluster_name}-worker-${group_name}-。需要在这一行中声明节点的资源量，否则Slurmctld会
        # 将Node视为仅有 1c 资源。这里声明的资源请尽量与workerGroup中声明的资源量相同，否则可能发生资源的浪费。
        NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
        # 以下为固定配置，保持不变即可 
        CommunicationParameters=NoAddrCache
        ReconfigFlags=KeepPowerSaveSettings
        SuspendProgram="/slurm-suspend.sh"
        ResumeProgram="/slurm-resume.sh"

   2. 通过helm upgrade命令更新当前的slurm配置。

3. 应用新的配置

   假设您提交的slurmcluster的Name为slurm-job-demo，您可以通过kubectl delete sts slurm-job-demo应用新的slurmctld的Pod的配置。

4. 将slurmcluster.yaml文件中的工作副本数调整为0，方便后续查看节点的扩缩容。

   手动管理

   假设提交的slurmcluster的Name为slurm-job-demo。通过kubectl edit slurmcluster slurm-job-demo将slurmcluster中的workerGroup的workerCount调整为0。即可将工作节点副本数调整为0。

   通过Helm管理

   在values.yaml将.Values.workerGroup[].workerCount调整为0，之后通过helm upgrade slurm-job-demo .的方式更新当前helm chart即可将工作副本数调整为0。

5. 提交一个sbatch任务。

   1. 执行以下命令，创建一个Shell脚本。

      cat << EOF > cloudnodedemo.sh

      在命令提示符后输入以下内容：

      > #!/bin/bash
      > srun hostname
      > EOF

   2. 执行以下命令，查看执行的脚本内容是否正确。

      cat cloudnodedemo.sh

      预期输出：

        #!/bin/bash
        srun hostname

      脚本输出内容无误。

   3. 执行以下命令，将脚本提交给SlurmCluster进行处理。

      sbatch cloudnodedemo.sh

      预期输出：

      Submitted batch job 1

      预期输出表明任务已成功提交并分配了一个作业ID。

6. 查看集群扩缩容情况。

   1. 执行以下命令，查看SlurmCluster的伸缩日志。

      cat /var/log/slurm-resume.log

      预期输出：

       namespace: default cluster: slurm-demo
        resume called, args [slurm-demo-worker-cpu-0]
        slurm cluster metadata: default slurm-demo
        get SlurmCluster CR slurm-demo succeed
        hostlists: [slurm-demo-worker-cpu-0]
        resume node slurm-demo-worker-cpu-0
        resume worker -cpu-0
        resume node -cpu-0 end

      日志输出结果表明SlurmCluster根据工作负载需求自动扩容了一个计算节点来应对提交的作业需求。

   2. 执行以下命令，查看集群中Pod的情况。

      kubectl get pod

      预期输出：

      NAME                                          READY   STATUS    RESTARTS        AGE
      slurm-demo-head-9hn67                         1/1     Running   0               21m
      slurm-demo-worker-cpu-0                       1/1     Running   0               43s

      输出结果表明slurm-demo-worker-cpu-0为新加入的集群的Pod，即提交任务已触发集群的扩容。

   3. 执行以下命令，查看集群节点信息。

      sinfo

      预期输出：

      PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
      debug*       up   infinite      10  idle~ slurm-job-demo-worker-cpu-[2-10]
      debug*       up   infinite      1   idle slurm-job-demo-worker-cpu-[0-1]

      输出结果表示slurm-demo-worker-cpu-0是刚刚拉起的节点，而Cloud Code中还有1-10总共10个节点可以扩容。

   4. 执行以下命令，查看刚刚执行的任务信息。

      scontrol show job 1

      预期输出：

      JobId=1 JobName=cloudnodedemo.sh
         UserId=root(0) GroupId=root(0) MCS_label=N/A
         Priority=4294901757 Nice=0 Account=(null) QOS=(null)
         JobState=COMPLETED Reason=None Dependency=(null)
         Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
         RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
         SubmitTime=2024-05-28T11:37:36 EligibleTime=2024-05-28T11:37:36
         AccrueTime=2024-05-28T11:37:36
         StartTime=2024-05-28T11:37:36 EndTime=2024-05-28T11:37:36 Deadline=N/A
         SuspendTime=None SecsPreSuspend=0 LastSchedEval=2024-05-28T11:37:36 Scheduler=Main
         Partition=debug AllocNode:Sid=slurm-job-demo:93
         ReqNodeList=(null) ExcNodeList=(null)
         NodeList=slurm-job-demo-worker-cpu-0
         BatchHost=slurm-job-demo-worker-cpu-0
         NumNodes=1 NumCPUs=1 NumTasks=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
         ReqTRES=cpu=1,mem=1M,node=1,billing=1
         AllocTRES=cpu=1,mem=1M,node=1,billing=1
         Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
         MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
         Features=(null) DelayBoot=00:00:00
         OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)
         Command=//cloudnodedemo.sh
         WorkDir=/
         StdErr=//slurm-1.out
         StdIn=/dev/null
         StdOut=//slurm-1.out
         Power=

      输出结果中的NodeList=slurm-demo-worker-cpu-0代表任务执行在刚刚扩容出的节点上。

   5. 等待一段时间后，执行以下命令，查看节点缩容信息。

      sinfo

      预期输出：

      PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
      debug*       up   infinite     11  idle~ slurm-demo-worker-cpu-[0-10]

      可以看到可扩容节点又回到0-10，总共11个节点，即完成了自动缩容。