CDP基础版集群扩容流程

更新时间:

本章节将为您介绍什么是CDP扩容、扩容的具体操作流程。

CDP扩容简介

  • 当CDP集群计算资源或存储资源不足时,您可以对集群进行水平扩展。目前支持扩展Core组类型节点,并且新扩展节点的配置默认与组内已有节点一致。

  • CDP集群扩容费用包含ECS硬件费用和云市场软件订单费用

  • CDP集群扩容订单支付完成之后,您需要在ClouderaManager控制台完成节点添加和部署

扩容操作步骤

  1. 登录阿里云CDP控制台

  2. 在左侧菜单栏选择集群管理页签。

  3. 集群管理页面,单击扩容,或点击相应集群所在行的集群名称

  1. 集群详情页面,单击扩容

  1. 在弹出的扩容对话框中,设置Core实例组增加数量付费时长

  1. 勾选CDP服务条款,然后点击确认。

  2. 支付完成后,大约5分钟左右,就可以在主机列表页面看到新增的扩容节点,然后按照帮助文档下一章节在Cloudera Manager完成扩容操作。

  3. 如果想重新生成扩容订单,您需要在阿里云用户中心控制台取消该实例之前生成的扩容订单(包含软件和硬件订单)。

image.png

Cloudera Manager控制台添加Host

Cloudera Manager托管Host

  1. 在阿里云控制台完成集群扩容操作后,在主机列表页面找到新扩容的实例组,同时获取节点名称备用

  2. 登录Cloudera Manager控制台

  3. 在左侧菜单栏点击Hosts -> Add Hosts,进入添加主机向导页面

  4. 在添加主机页面,采用默认勾选的Add hosts to Cloudera Manager选项并点击下方的Continue按钮,将主机添加到Cloudera Manager

  5. 在Specify Hosts向导页面,Hostname输入框里添加步骤1里获取到的新扩容节点名称,之后点击Search搜索到主机信息。点击Continue继续

image.png
  1. Select Repository向导页不需要修改,使用集群默认的自定义仓库,点击Continue继续

  2. Select JDK向导页采用默认选项,点击Continue继续

  3. Enter Login Credentials向导页输入集群ECS的root密码,点击Continue继续

  4. Install Agents向导页等待Agent代理安装完成(单节点扩容大约需要3分钟左右时间)

  5. 依次走完剩余步骤,完成在Cloudera Manager托管主机操作

CDP集群添加主机并部署服务

Cloudera Manager托管Host完成之后,可以继续在Cloudera Manager控制台上完成往CDP集群添加主机操作。具体步骤如下:

  1. 登录Cloudera Manager控制台。

  2. 在左侧菜单栏点击Hosts -> Add Hosts,进入添加主机向导页面。

  3. 在添加主机页面,勾选Add hosts to Cluster,点击Continue继续。

  4. 在Specify Hosts向导页面,勾选希望添加到集群的Host,点击Continue继续。

  5. 进入Install Parcels向导页面,等待安装Parcel完成(单节点约4-5分钟),自动进入Inspect Hosts向导页,点击Continue继续。

  6. Select Host Template向导页面,点击Create按钮,为新节点创建Host模板(例如,勾选HDFS DataNode、YARN NodeManager以及各组件Gateway),输入模板名字后点击创建。返回到Select Host Template向导页面,勾选新创建的模板后点击Continue继续。

image.png
  1. 进入Apply Host Template向导页面等待Host模板部署并启动相关Roles(约2-3分钟),点击Continue继续。

  2. 在Deploy Client Config向导页等待Client配置部署完成,点击完成按钮。

说明

扩容完成后,集群部分服务组件(例如Spark)可能需要重启,您可在Cloudera Manager集群页面看到重启提示。