全部产品
云市场

创建混合云集群

更新时间:2019-04-08 20:33:10

E-HPC 混合云集群

您可以通过E-HPC创建HPC混合云集群,利用本地的HPC集群向阿里云扩容计算资源,统一调度公共云上资源和用户本地计算节点。

集群的调度结点(头节点),域账号管理节点都在本地,您可以通过以下方式进行本地和云上的节点通信:

如何搭建VPN网关和建立连接,请参见 配置站点到站点连接。本地网关如果使用strongswan,请参见 strongSwan配置

注意:本地网关需要允许 UDP 端口 500 和 4500 连入, strongswan 对外监听端口是 500 和 4500。本地网关需要允许域账号系统以及 HPC 集群头结点相关服务监听的端口连入。

环境要求

本地HPC集群管理节点的环境要求如下:

  • 操作系统: Linux CentOS 6.8、6.9 或者 7.2、7.3、7.4
  • 调度集群类型:PBSPro 18.1.1、Slurm 17.2.4
  • 账号管理类型:nis 2.31、ldap 2.4

创建混合云集群

准备工作

  • 搭建好网络连接、VPN、云企业网或者物理专线。
  • 提供本地HPC集群调度节点信息:hostname、ip。
  • 提供本地域账号节点信息: hostname、ip、账号域名 (domain name)。

E-HPC支持如下两种方式创建混合云集群

  • 本地集群已经存在,那么本地集群节点不需要做额外的配置
  • 本地集群还不存在,E-HPC会自动安装配置本地集群调度节点和域账号节点

API调用创建混合云集群

OpenAPI:CreateHybridCluster, 这里假设选择的地域是杭州(regionId:cn-hangzhou)。有关 API 文档,请参见 混合云管理API

部分参数说明:

  • VpcId:指定以上搭建网络连接相关的VPC。
  • Nodes:json格式的字符串,内容包含本地集群的调度节点以及账号节点的信息,可以参照以下的例子。

    1. [
    2. {"Role":"AccountManager", "HostName":"account", "IpAddress":"...", "AccountType":"nis"},
    3. {"Role":"ResourceManager", "HostName":"scheduler","IpAddress":"...","SchedulerType":"pbs"}
    4. ]

    注意: 如果本地调度节点和账号节点为同一个节点,以上 AccountManager 和 ResourceManager 下只需配置 HostName 和 IpAddress 的其中一个。

集群创建成功之后,通过E-HPC控制台可以查看集群基本信息,集群状态处于“安装中”。

本地集群配置

获取集群配置

在混合云集群创建成功之后,通过 API 获取集群配置信息。OpenAPI GetHybridClusterConfig,有关文档请参见 混合云管理API

配置本地集群节点

登录本地集群调度节点和域账号管理节点,执行如下命令:

  1. echo -e "集群配置信息" > /root/ehpc.conf

账号节点和调度节点为两个节点

  • 登录本地域账号管理节点运行如下命令安装配置 E-HPC agent:

    1. curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh
    2. chmod +x deploy_ehpc_agent.sh
    3. ./deploy_ehpc_agent.sh -r AccountManager -i
    4. -r: # 指定节点角色
    5. -i: # 如果本地集群是已经存在的,指定这个选项就会跳过安装配置域账号服务
  • 登录本地集群调度节点运行如下命令安装配置E-HPC agent:

    1. # 下载或者从以上域账号节点拷贝部署脚本
    2. curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh
    3. chmod +x deploy_ehpc_agent.sh
    4. ./deploy_ehpc_agent.sh -r ResourceManager -i
    5. -r: # 指定节点角色
    6. -i: # 如果本地集群是已经存在的,指定这个选项就会跳过安装配置HPC集群调度服务

    账号节点和调度节点为同一个节点

  • 登录本地集群节点运行如下命令安装配置E-HPC agent

    1. curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh
    2. chmod +x deploy_ehpc_agent.sh
    3. ./deploy_ehpc_agent.sh -r AccountManager,ResourceManager -i
    4. -r: #指定节点角色
    5. -i: #如果本地集群是已经存在的,指定这个选项就会跳过安装配置HPC集群调度服务

    本地管理节点部署之后,通过E-HPC控制台可以查看集群基本信息,集群状态会转变为“运行中”。

  • 增加节点

    调用 E-HPC OpenAPI AddNodes,请参见 节点管理API

管理本地节点

E-HPC支持管理部署本地计算节点,将本地计算节点加入到混合云集群,也可以加入到云上的集群,最终统一调度管理。目前支持API方式接入:

  1. 增加本地计算节点到E-HPC集群

    调用 E-HPC OpenAPI AddLocalNodes,请参见 混合云管理API

  2. 获取新增加的节点配置

    调用 E-HPC OpenAPI GetHybridClusterConfig获取该节点配置信息,注意请求参数’Node’必须设置为本地节点的hostname,请参见 混合云管理API

  3. 登录本地计算节点运行如下命令安装配置E-HPC agent:

    1. # 设置节点配置
    2. echo -e "节点配置信息" > /root/ehpc.conf
    3. # 下载或者从以上域账号节点拷贝部署脚本
    4. curl -O http://e-hpc-hangzhou.oss-cn-hangzhou.aliyuncs.com/packages/deploy_ehpc_agent.sh
    5. chmod +x deploy_ehpc_agent.sh
    6. ./deploy_ehpc_agent.sh -r ComputeNode -i
    7. -r: # 指定节点角色
    8. -i: # 如果本地计算节点已经安装配置好,指定这个选项就会跳过安装配置HPC集群调度相关服务