全部产品
云市场

集群规格选型

更新时间:2019-10-09 17:29:30

选择的逻辑

HBase支持的场景较多,我们尽可能都开放,您可以根据自己的业务形态进行选择。一般衡量业务特征有很多标准,比如 QPS、存储量、读写请求、相应延迟,稳定性相关。在选择 ApsaraDB for HBase 时,我们看到有SSD云盘、高效云盘、独享规格、通用规格,还有4cpu8g 到 32cpu128g等。

规格

  • 独享规格:完全没有争抢的规格,资源保障稳定,延迟敏感的业务请务必使用独占 且 SSD云盘。
  • 通用规格:>=8cpu之上,不提供通用。通用会有一定的争抢。业务生产集群不建议使用通用规格

Master选择

Master节点不带存储,默认是主备保障单点容灾。Master节点上会部署HBase的Master,HDFS的Namenode和Zookeeper等,是集群中重要节点。如果master的CPU不够或者内存不够,会严重制约HBase的性能。

core的规模 master选择
< 4台 4cpu8g
4 <= core数 < 10 8cpu16g
10 <= core数 < 20 8cpu32g
20 <= core数 < 50 16cpu64g
50 <= core数 < 100 24cpu96g

注意:Master的规格不仅受到Core节点数量的影响,还和集群上表的数量和Region的数量有关,如果集群的表数量或者region数量非常多,Master节点也需要适当选择高规格

Core选择

core阶段选择:4cpu8g起步,最大32cpu128g

Core节点即HBase的RegionServer。需要根据业务的请求量以及请求的大小来选择合适的Core节点规格。

注意:请求量的多少并不是选择Core节点规模的唯一标准,比如一个业务的请求量每秒只有数百,通常4c8g的core节点就足够,但是如果用户请求的一行非常大,几KB甚至数MB,或者SCan请求中有复杂的filter,或者请求的cache命中率很低,每个请求都会请求磁盘,或者集群上的表和region非常多,选择4c8g的core节点可能会导致业务不稳定和延迟上涨

下表给出一些简单的建议,但是评估Core节点的规格需要综合多方面考虑。如果需要容量评估的帮助,请在钉钉上联系云HBase答疑钉钉号或者发起工单咨询。

TPS+QPS core的个数及选择 建议
0 ~ 1000 2台 4c8g 最低规格,只适合低负载访问。同时每台Core节点上的region不宜超过300个
1000 ~ 2w 2台 8c16g 适合中低负载,同时每台Core节点的region不宜超过600个
2w 以上 8c32g/16c32g/32c64g 或者以上 按照实际请求量选择Core节点的数量,如果是在线型业务,适当选择大内存机型来增加cache命中率来提高性能。如果有MR/Spark等离线大负载任务要运行或者TPS/QPS非常高,需要适当选择大CPU机器

选择高配置机器还是更多Core节点

HBase支持水平无限扩展,当出现负载过高,延迟变高,不稳定,可以通过水平增加Core节点解决。但是由于业务设计的问题或者使用问题,很可能出现单机热点,因此Core节点的规格决定了单机抗热点的能力。因此把Core节点的规格选择的特别低,只通过水平扩展Core节点的方式,在面对风险时的稳定性会没有高配机型来得强。如果有瞬时的大请求打过来,或者偶发的热点流量(在一个region里),低配的机器可能会出现负载过高或者OOM影响整体的稳定性。

因此,我们建议Core节点的规格要根据业务事先做好评估,选择合适规格的Core节点

如果事先选择的Core节点或者Master节点规格无法满足要求,我们还将提供原地升配的功能,将Core/Master的配置升级到合适规格,详情请钉钉上联系云HBase答疑钉钉号或者发起工单咨询。

存储介质

冷热程度 介质类型 业务类型
高性能 SSD云盘 在线业务,延迟要求低,99.9延迟 80ms以下 ,平均延迟2ms以下。请 搭配独享的实例规格
高效能 高效云盘 在线业务,延迟要求一般,99.9延迟 200ms以下,平均延迟10ms以下。
冷数据 OSS(冷存储) 准在线业务,主要存储冷数据,高压缩压缩算法、高压缩比例,qps 20左右,起步1T,99.9延迟 2s,平均延迟500ms。

几个典型的case

场景 选择
数据量有10T,qps不到1000,但是查询要求是 延迟200ms以内 则可以选择 master 4cpu8g HA,4台 Core 8cpu32g 4 * 2T高效云盘
数据量2T,qps 100w,99.9延迟 查询要求80ms以内 master 4cpu8gHA,6台 Core 16cpu64g 4*300G SSD云盘