全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件

作业提交

更新时间:2017-09-05 15:25:47

准备工作

在使用E-HPC集群提交作业前,请确保:

注意:不推荐使用root帐号进行任何作业提交,避免作业脚本中的误操作导致E-HPC集群数据遭受破坏。

提交作业

相关约定

以下假定作业相关文件路径为:

  1. $HOME/test.py # 作业执行程序
  2. $HOME/test.data # 作业相关数据

作业执行命令行为:

  1. test.py -i test.data

作业调度

E-HPC目前支持两种主流的高性能计算作业调度器:

  • PBS pro
  • SLURM
PBS
  1. $ cat > test.pbs
  2. #!/bin/sh
  3. #PBS -l ncpus=4,mem=1gb
  4. #PBS -l walltime=00:10:00
  5. #PBS -o test_pbs.log
  6. #PBS -j oe
  7. cd $HOME
  8. test.py -i test.data
  9. $ qsub test.pbs

PBS作业调度脚本test.pbs解释如下:

  • Line3是对作业所需计算资源的预估:需要4个CPU核及1GB内存。
  • Line4是对作业运行时间的预估:10分钟。
  • Line5是指定stdout输出文件。
  • Line6是把stderr和stdout的输出合并到上面指定的输出文件。
  • Line7~8为作业具体执行命令。

PBS结合算例的使用示例可参考:

更详细的使用文档可参考PBS官方的PBS User Guide。

SLURM
  1. $ cat > test.slurm
  2. #!/bin/sh
  3. #SBATCH --job-name=slurm-quickstart
  4. #SBATCH --output=test_slurm.log
  5. #SBATCH --nodes=1
  6. #SBATCH --ntasks=1
  7. #SBATCH --cpus-per-task=1
  8. #SBATCH --time=00:10:00
  9. #SBATCH --mem-per-cpu=1024
  10. cd $HOME
  11. test.py test.data
  12. $ sbatch test.slurm

SLURM结合算例的使用示例可参考:

更详细的使用文档可参考SLURM官方说明。

本文导读目录