预分区

更新时间：2020-03-20 13:04:38

★ 我的收藏

本页目录

初次接触HBase的客户，在创建HBase表的时候，不指分区的数目，另外就是rowkey设计不合理，导致热点。

最为常见的建表语句为：

create ‘t3’,{NAME => ‘f1’,COMPRESSION => ‘snappy’ }, { NUMREGIONS => 50, SPLITALGO => ‘HexStringSplit’ }

其中 NUMREGIONS 为 region的个数，一般按每个region 6~8GB左右来计算region数量，集群规模大，region数量可以适当取大一些
SPLITALGO 为 rowkey分割的算法：Hbase自带了三种pre-split的算法，分别是 HexStringSplit、DecimalStringSplit 和 UniformSplit。

各种Split算法适用场景：
- HexStringSplit: rowkey是十六进制的字符串作为前缀的
- DecimalStringSplit: rowkey是10进制数字字符串作为前缀的
- UniformSplit: rowkey前缀完全随机
关于rowkey的设计可以参考：RowKey设计
COMPRESSION压缩算法，参考：数据压缩与编码

上一篇：读写分离

下一篇：SDK参考

相关产品

云数据库 HBase
云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。阿里云特别提供HBase产品化方案服务广大的中小型客户。
E-MapReduce
阿里云E-MapReduce（Elastic MapReduce）是一种大数据处理的系统解决方案。构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让用户可以方便地使用Hadoop和Spark 生态系统中的其他周边系统（如Apache Hive、Apache Pig、HBase等）来分析和处理自己的数据。用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统中，如阿里云OSS、阿里云RDS等。
DataWorks
新一代智慧大数据研发平台DataWorks（数据工场，原大数据开发套件）是从工作室、车间到工具集都齐备的一站式大数据工场，助力您快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作。DataWorks + MaxCompute 在2018年获得著名分析评测机构Forrester的Cloud Data Warehouse云数据仓库世界排名第二的成绩，是唯一入选的中国产品。 DataWorks V2.0 在DataWorks V1.0的基础上新增业务流程、组件的概念，完善数据研发体系，支持双项目开发，隔离开发和生产，保证数据研发规范，减少错误代码。

文档反馈