最佳实践概览
本文汇总典型场景中基于E-HPC集群完成计算任务的最佳实践。
业务应用
最佳实践 |
主要内容 |
LAMMPS(Large-scale Atomic/Molecular Massively Parallel Simulator)是一款经典分子动力学软件。 LAMMPS包含的势函数可用于固体材料(金属、半导体)、软物质(生物大分子,聚合物)、粗粒化或介观尺度模型体系。 E-HPC作为高性能且弹性的计算集群,可为复杂工程和力学结构提供辅助分析,通过大量数据仿真模拟优化产品结构和性能,目前在工业仿真领域的应用越来越多。 |
|
Intel oneAPI是一种开放的、标准的统一编程模型。Intel oneAPI工具包为Intel CPU和FPGA等异构平台提供构建部署应用程序和解决方案所需的工具,包括用于高性能异构计算的优化编译器、库、框架和分析工具,可以简化编程,帮助开发者提高生产力。 LAMMPS是一款经典分子动力学软件,用于模拟液态、固态或气态的粒子集合。在模拟原子、分子计算中并行效率高,广泛应用于材料、物理、化学等模拟场景。 使用Intel oneAPI编译运行LAMMPS,可以加快构建应用程序,提升应用性能。 |
|
GROMACS(GROningen MAchine for Chemical Simulations)是一款通用软件,用于对具有数百万颗粒子的系统进行基于牛顿运动方程的分子动力学模拟。GROMACS主要用于生物化学分子,如蛋白质、脂质等具有多种复杂键合相互作用的核酸分析。 |
|
WRF(Weather Research and Forecasting)采用新一代中尺度天气预报模式,是气象行业广泛应用的开源气象模拟软件。它为研究大气过程提供了大量选项,并可以在多种计算平台运行。 |
|
在进行基因测序时,您可以使用BWA构建索引及比对记录,再使用Samtools对比对记录进行排序,然后使用GATK去除重复序列、重新校正碱基质量值、变异检查。 |
|
OpenFOAM(Open Source Field Operation and Manipulation)是对连续介质力学问题进行数值计算的软件。可进行数据预处理、后处理和自定义求解器,常用于计算流体力学领域。 |
|
分子对接(Molecular docking)是虚拟药物筛选中的关键环节。AutoDock Vina作为一款开源的分子对接软件,具有速度快、算法准确等优点,特别适用于搭建基于分子对接的虚拟筛选。 |
集群性能测试
最佳实践 |
主要内容 |
HPL(The High-Performance Linpack Benchmark)是测试高性能计算集群系统浮点性能的基准。HPL通过对高性能计算集群采用高斯消元法求解一元N次稠密线性代数方程组的测试,评价高性能计算集群的浮点计算能力。 |
|
IMB(Intel MPI Benchmarks)用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。MPI(Message Passing Interface)是支持多编程语言的并行计算通信库,具有高性能、大规模性、可移植性、可扩展性等特点。 |
|
超级计算集群SCC(Super Computing Cluster)实例针对E-HPC多机并行计算需求,提供了低延时RDMA(Remote Direct Memory Access)网络互联。SCC实例无虚拟化损耗,同时提供VPC网络隔离能力,您可直接访问硬件资源。 |
E-HPC事件处理
最佳实践 |
主要内容 |
E-HPC配合事件总线EventBridge,可以将E-HPC集群操作、节点操作事件投递到云服务专用事件总线,实现操作事件可接收、可查询、可消费。您可以对E-HPC集群和节点事件配置规则,通过钉钉机器人发送事件通知到钉钉群,从而及时获取E-HPC集群和节点的事件信息。 |
|
E-HPC配合事件总线EventBridge,可以将E-HPC集群操作、节点操作事件投递到云服务专用事件总线,实现操作事件可接收、可查询、可消费。您可以对E-HPC集群和节点事件配置规则,通过短信服务发送事件通知短信到指定手机号码,从而及时获取E-HPC集群和节点的事件信息。 |
|
E-HPC配合事件总线EventBridge,可以将E-HPC集群的操作投递到云服务专用事件总线。在此基础上结合函数计算,可以更加灵活地将E-HPC事件进行二次定制投递,例如可以使用E-HPC节点扩容事件制定扩容水位告警策略,并通过自定义事件总线将告警通过钉钉进行通知。 |
混合云
最佳实践 |
主要内容 |
以E-HPC云上集群将线下已有计算节点纳入管理的场景为例,介绍混合云主控模式集群(SGE调度器,管理节点在云上集群)的部署方案。 |
|
以创建E-HPC代理模式的混合云集群,由线下已有集群的管理节点代为管理的场景为例,介绍混合云代理模式集群(SGE调度器,管理节点在已有集群)的部署方案。 |
其他
最佳实践 |
主要内容 |
E-HPC提供了调度器插件作为平台的外扩组件,在E-HPC现有调度器类型或版本不满足当前业务时,您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。 |
|
当您需要每天不定时提交作业,使用E-HPC集群几个小时进行大规模计算, 然后释放节点。您可以针对不同的作业类型,配置不同的伸缩策略。 |
|
CPFS(Cloud Paralleled File System)是一种高性能并行文件存储系统,专为AI训练和E-HPC等高性能计算场景打造,最大支持数十GB/s吞吐能力。以CPFS为共享存储的E-HPC集群适合动画渲染、生命科学、气象预报、能源勘探等需要超高吞吐的应用场景。 |
|
将线下AD域用户体系与云上E-HPC的集群LDAP用户账号建立互通,使用一套用户体系来减少用户账号的管理和维护成本。 |