创建混合云集群
混合云集群指混合部署在本地和云上的集群,调度节点、域账号节点都在本地,计算节点在本地和云上。您可以利用本地的HPC集群在阿里云扩容计算节点资源,统一调度云上资源和您的本地资源进行高性能计算。本文介绍如何通过E-HPC管理控制台创建混合云集群。
前提条件
背景信息
本地HPC集群管控节点的环境要求如下:
操作系统:CentOS 7.2、7.3、7.4、7.5、7.6、8.0
调度集群类型:custom、deadline、PBS 18.1.1、SGE(Open Grid Scheduler)
说明PBS和SGE集群仅支持操作系统CentOS 7.x。
账号管理类型:custom
使用流程
创建并使用混合云集群的流程如下所示:
创建混合云集群时,您需要配置集群计算节点的硬件配置、软件配置、基础配置等信息。
创建混合云集群后,集群中并没有任何计算节点,若需要使用混合云集群,还需要进行扩容。
扩容前,请根据业务需要准备好自定义镜像,该自定义镜像中须安装有deadline或custom调度器。关于如何创建自定义镜像,请参见使用实例创建自定义镜像。
步骤一:创建混合云集群
登录弹性高性能计算控制台。
在顶部菜单栏左上角处,选择地域。
在左侧导航栏,选择集群。
在集群页面右上角,单击创建混合云集群。
配置硬件信息。
在硬件配置页面,填写硬件配置信息。
配置项
说明
可用区
集群计算节点的可用区。
付费类型
集群计算节点的计费方式,其中不包括弹性公网IP、NAS存储的费用。
包年包月:按周、月或年购买及续费,为预付费模式。
按量付费:按实际开通时长以小时为单位进行收费,为后付费模式。
抢占式实例:相对于按量付费实例价格有一定的折扣,价格随供求波动,按实际使用时长进行收费,后付费模式。
更多信息,请参见计费方式概述。
计算节点
用于执行高性能计算作业的节点,其配置决定了E-HPC集群的总体性能。
使用代理模式
云上节点代理本地集群管理云上集群资源。
云上代理节点
云上代理节点实例规格。
已预装调度器
调度器是指E-HPC集群上部署的作业调度软件。
当开启使用代理模式时,已预装调度器必须处于关闭状态。
当关闭使用代理模式时,已预装调度器必须保持开启状态。
使用本地存储
是否使用本地存储。
为集群挂载的本地文件系统,可以实现集群所有节点之间的文件共享访问。
本地集群存储挂载地址
本地文件系统挂载点。
挂载路径
本地文件系统挂载路径。
本地路径
本地文件系统挂载到云上节点的路径。
选中高级配置,在展开的高级配置页面设置具体参数。
配置项
说明
资源组配置
资源组
集群节点所在资源组。您可以使用资源组对您账号下多种集群节点进行集中的分组管理。
网络配置
VPC
集群所在的专有网路,不同的专有网络之间逻辑上彻底隔离。您可以在专有网络内创建和管理集群。
默认选择第一个已创建的VPC和交换机,请确保交换机下的IP地址空间足够(可用IP数大于集群所有节点的数量)。
交换机
新建安全组
选择是否新建安全组。
打开:打开后需要在安全组名称文本框中输入新建的安全组名称。
关闭:关闭后,您可以在选择安全组列表中选择已有安全组。
共享存储
按文件夹配置
是否使用共享存储。
当开启使用代理模式时,必须使用共享存储。
当关闭使用代理模式时,只能使用本地存储,无法使用共享存储。
E-HPC所有用户数据、调度器信息、作业共享数据等信息都会存储在文件存储NAS以供集群所有节点共享访问。
关闭:只为集群配置一个文件系统。
开启:为所有节点的文件夹挂载文件系统,提高本集群的共享存储能力。
文件系统类型
文件存储的规格类型。可选值:
通用型NAS
极速型NAS
CPFS:关于如何创建CPFS文件系统的E-HPC集群,请参见创建CPFS文件系统的E-HPC集群。
文件系统ID
默认选择第一个已创建的文件系统ID和挂载点,请确保该文件系统还有可用的挂载点余量。
挂载点
远程目录
挂载文件系统的远程目录。
单击下一步,配置软件信息。
配置项
说明
镜像类型
镜像提供集群节点所需的信息。不同镜像类型对应不同的操作系统,操作系统指部署在集群所有节点上的操作系统。
您可以选择公共镜像、自定义镜像、共享镜像。
自定义镜像有以下限制:
E-HPC仅支持基于阿里云官方镜像创建的自定义镜像。
如果选择使用自定义镜像,在集群创建完成后,不可改用基于该集群内节点创建的自定义镜像,否则,创建集群计算节点将会产生异常。
自定义镜像中不能修改操作系统的yum源配置,否则会导致无法创建集群或扩容。
如果选择使用自定义镜像,在为节点挂载NAS文件系统时,挂载路径中不能包含
/home
和/opt
目录。
镜像
镜像提供集群所有节点所需的信息。包含了操作系统、预装软件,以及部署的业务或应用数据。
当前仅支持CentOS和Windows Server两种镜像,具体支持的镜像以控制台显示为准。
调度器
调度器是指E-HPC集群上部署的作业调度软件。混合云集群支持的调度器与是否开启使用代理模式有关,具体说明如下:
当开启使用代理模式时,支持sge、pbs。
当关闭使用代理模式时,支持deadline、custom、不安装。
调度器节点IP
本地集群调度节点IP地址。
调度器节点主机名
本地集群调度节点主机名。
账号系统
本地集群调度节点账号系统。
选择域账号服务类型后,通过域账号服务管理创建的集群以及集群用户。目前支持nis和ldap。
本地集群域名
本地集群域名。
账号节点IP
本地集群账号节点IP地址。
账号节点主机名
本地集群账号节点主机名。
单击下一步,配置基础信息。
配置项
说明
名称
集群名称,该名称将会在集群列表中显示,便于您查找识别。
登录密码
集群的登录密码。该密码用于远程SSH访问集群登录节点,对应的用户名为root。
说明当开启代理模式时,集群登录密码必须与本地集群root密码保持一致。
确认密码
再次输入登录密码。
在右侧配置清单查看创建的集群配置,阅读并选中《E-HPC服务条款》,单击确认。
创建完成后,在E-HPC集群页面,当新创建的集群状态为运行中,则混合云集群已创建。
步骤二:扩容混合云集群
在集群页面,选择需要扩容的混合云集群,单击扩容。
在集群扩容面板,完成基本配置。
具体操作,请参见扩容集群。请注意以下配置参数:
镜像类型:选择自定义镜像。
镜像:选择已创建好的自定义镜像。
确认当前配置,阅读并选中《E-HPC服务条款》,单击立即购买。
扩容后,您可以单击资源管理 > 节点与队列,在集群列表中选择已扩容的混合云集群,在节点类型列表中选择计算节点,即可查看已扩容节点的状态。当该节点状态为运行中,说明扩容混合云集群已完成。