创建混合云集群

混合云集群指混合部署在本地和云上的集群,调度节点、域账号节点都在本地,计算节点在本地和云上。您可以利用本地的HPC集群在阿里云扩容计算节点资源,统一调度云上资源和您的本地资源进行高性能计算。本文介绍如何通过E-HPC管理控制台创建混合云集群。

前提条件

背景信息

本地HPC集群管控节点的环境要求如下:

  • 操作系统:CentOS 7.2、7.3、7.4、7.5、7.6、8.0

  • 调度集群类型:custom、deadline、PBS 18.1.1、SGE(Open Grid Scheduler)

    说明

    PBS和SGE集群仅支持操作系统CentOS 7.x。

  • 账号管理类型:custom

使用流程

创建并使用混合云集群的流程如下所示:

  1. 步骤一:创建混合云集群

    创建混合云集群时,您需要配置集群计算节点的硬件配置、软件配置、基础配置等信息。

  2. 步骤二:扩容混合云集群

    创建混合云集群后,集群中并没有任何计算节点,若需要使用混合云集群,还需要进行扩容。

    扩容前,请根据业务需要准备好自定义镜像,该自定义镜像中须安装有deadline或custom调度器。关于如何创建自定义镜像,请参见使用实例创建自定义镜像

步骤一:创建混合云集群

  1. 登录弹性高性能计算控制台

  2. 在顶部菜单栏左上角处,选择地域。

  3. 在左侧导航栏,选择集群

  4. 集群页面右上角,单击创建混合云集群

  5. 配置硬件信息。

    1. 硬件配置页面,填写硬件配置信息。

      配置项

      说明

      可用区

      集群计算节点的可用区。

      付费类型

      集群计算节点的计费方式,其中不包括弹性公网IP、NAS存储的费用。

      • 包年包月:按周、月或年购买及续费,为预付费模式。

      • 按量付费:按实际开通时长以小时为单位进行收费,为后付费模式。

      • 抢占式实例:相对于按量付费实例价格有一定的折扣,价格随供求波动,按实际使用时长进行收费,后付费模式。

      更多信息,请参见计费方式概述

      计算节点

      用于执行高性能计算作业的节点,其配置决定了E-HPC集群的总体性能。

      使用代理模式

      云上节点代理本地集群管理云上集群资源。

      云上代理节点

      云上代理节点实例规格。

      已预装调度器

      调度器是指E-HPC集群上部署的作业调度软件。

      • 当开启使用代理模式时,已预装调度器必须处于关闭状态。

      • 当关闭使用代理模式时,已预装调度器必须保持开启状态。

      使用本地存储

      是否使用本地存储。

      为集群挂载的本地文件系统,可以实现集群所有节点之间的文件共享访问。

      本地集群存储挂载地址

      本地文件系统挂载点。

      挂载路径

      本地文件系统挂载路径。

      本地路径

      本地文件系统挂载到云上节点的路径。

    2. 选中高级配置,在展开的高级配置页面设置具体参数。

      配置项

      说明

      资源组配置

      资源组

      集群节点所在资源组。您可以使用资源组对您账号下多种集群节点进行集中的分组管理。

      网络配置

      VPC

      集群所在的专有网路,不同的专有网络之间逻辑上彻底隔离。您可以在专有网络内创建和管理集群。

      默认选择第一个已创建的VPC和交换机,请确保交换机下的IP地址空间足够(可用IP数大于集群所有节点的数量)。

      您可以分别单击创建VPC创建子网(交换机)创建专有网络和交换机。具体操作,请参见创建专有网络创建交换机

      交换机

      新建安全组

      选择是否新建安全组。

      • 打开:打开后需要在安全组名称文本框中输入新建的安全组名称。

      • 关闭:关闭后,您可以在选择安全组列表中选择已有安全组。

      共享存储

      按文件夹配置

      是否使用共享存储。

      • 当开启使用代理模式时,必须使用共享存储。

      • 当关闭使用代理模式时,只能使用本地存储,无法使用共享存储。

      E-HPC所有用户数据、调度器信息、作业共享数据等信息都会存储在文件存储NAS以供集群所有节点共享访问。

      • 关闭:只为集群配置一个文件系统。

      • 开启:为所有节点的文件夹挂载文件系统,提高本集群的共享存储能力。

      文件系统类型

      文件存储的规格类型。可选值:

      文件系统ID

      默认选择第一个已创建的文件系统ID和挂载点,请确保该文件系统还有可用的挂载点余量。

      您也可以分别单击创建文件系统创建挂载点创建新的文件系统和挂载点。具体操作,请参见创建文件系统添加挂载点

      挂载点

      远程目录

      挂载文件系统的远程目录。

  6. 单击下一步,配置软件信息。

    配置项

    说明

    镜像类型

    镜像提供集群节点所需的信息。不同镜像类型对应不同的操作系统,操作系统指部署在集群所有节点上的操作系统。

    您可以选择公共镜像自定义镜像共享镜像

    自定义镜像有以下限制:

    • E-HPC仅支持基于阿里云官方镜像创建的自定义镜像。

    • 如果选择使用自定义镜像,在集群创建完成后,不可改用基于该集群内节点创建的自定义镜像,否则,创建集群计算节点将会产生异常。

    • 自定义镜像中不能修改操作系统的yum源配置,否则会导致无法创建集群或扩容。

    • 如果选择使用自定义镜像,在为节点挂载NAS文件系统时,挂载路径中不能包含/home/opt目录。

    镜像

    镜像提供集群所有节点所需的信息。包含了操作系统、预装软件,以及部署的业务或应用数据。

    当前仅支持CentOS和Windows Server两种镜像,具体支持的镜像以控制台显示为准。

    调度器

    调度器是指E-HPC集群上部署的作业调度软件。混合云集群支持的调度器与是否开启使用代理模式有关,具体说明如下:

    • 当开启使用代理模式时,支持sge、pbs。

    • 当关闭使用代理模式时,支持deadline、custom、不安装。

    调度器节点IP

    本地集群调度节点IP地址。

    调度器节点主机名

    本地集群调度节点主机名。

    账号系统

    本地集群调度节点账号系统。

    选择域账号服务类型后,通过域账号服务管理创建的集群以及集群用户。目前支持nis和ldap。

    本地集群域名

    本地集群域名。

    账号节点IP

    本地集群账号节点IP地址。

    账号节点主机名

    本地集群账号节点主机名。

  7. 单击下一步,配置基础信息。

    配置项

    说明

    名称

    集群名称,该名称将会在集群列表中显示,便于您查找识别。

    登录密码

    集群的登录密码。该密码用于远程SSH访问集群登录节点,对应的用户名为root。

    说明

    当开启代理模式时,集群登录密码必须与本地集群root密码保持一致。

    确认密码

    再次输入登录密码。

  8. 在右侧配置清单查看创建的集群配置,阅读并选中《E-HPC服务条款》,单击确认

    创建完成后,在E-HPC集群页面,当新创建的集群状态为运行中,则混合云集群已创建。

步骤二:扩容混合云集群

  1. 集群页面,选择需要扩容的混合云集群,单击扩容

  2. 集群扩容面板,完成基本配置。

    具体操作,请参见扩容集群。请注意以下配置参数:

    • 镜像类型:选择自定义镜像

    • 镜像:选择已创建好的自定义镜像。

  3. 确认当前配置,阅读并选中《E-HPC服务条款》,单击立即购买

    扩容后,您可以单击资源管理 > 节点与队列,在集群列表中选择已扩容的混合云集群,在节点类型列表中选择计算节点,即可查看已扩容节点的状态。当该节点状态为运行中,说明扩容混合云集群已完成。

相关文档

CreateHybridCluster

阿里云首页 弹性高性能计算 相关技术圈