更新时间:2020-05-26 00:00
AHBench是由阿里云HBase团队研发的benchmark测试套件。
该测试套件集成了云HBase性能增强版性能白皮书所包含的YCSB(Yahoo! Cloud Serving Benchmark)测试集合、测试流程控制、结果汇聚等功能。借助该测试套件,您可以通过简单配置后,一键执行性能测试。
从下载地址下载AHBench,上传到压测客户端并解压。
请确保压测客户端运行环境满足:
打开 AHBench/conf/ahbench-env.properties ,配置工具运行的环境变量
vi AHBench/conf/ahbench-env.properties
# 配置JDK的安装地址。如果java已经在系统PATH中,可以跳过该配置
# JAVA_HOME=/usr/java/jdk1.8.0/
# 配置被测HBase集群的版本,如果为1.x版本则填1,如果为2.x版本则填2。
HBASE_VERSION=2
打开AHBench/conf/ahbench-settings.properties,配置测试相关的参数,如压缩、编码、线程数、数据量、字段大小等,默认不需要修改,如有需求可根据场景进行定制修改。
说明:部分参数仅在特定HBase版本支持,如ZSTD压缩、INDEX编码仅在云HBase增强版支持,你可以通过配置ZSTD+INDEX获得更好性能
# 配置被测表的压缩算法,可选项有:
# NONE LZO ZSTD SNAPPY GZ LZ4 ZSTD 等
# 注意部分被测系统可能不支持指定的压缩算法
# 云HBase性能增强版推荐使用ZSTD
ahbench.table.compression=SNAPPY
# 配置被测表的编码算法,可选项有:
# NONE DIFF INDEX
# 注意部分被测系统可能不支持指定的编码算法
# 云HBase性能增强版推荐使用INDEX
ahbench.table.encoding=DIFF
测试数据量1000万,整体运行时间大约40分钟(视被测HBase系统可能有变化),至少需要总存储空间20GB
cd AHBench
./fast_test
测试数据量20亿,整体运行时间大约25小时(视被测HBase系统可能有变化),至少需要总存储空间2TB
cd AHBench
./full_test
若要重复进行该测试,可以通过跳过数据导入阶段(上一次测试已成功运行),减少运行时间。跳过导入阶段,整体测试运行时间大约3.5小时(视被测HBase系统可能有变化)
cd AHBench
./full_test --skipload
测试case运行完毕后,会在当前目录生成csv文件。csv文件全称为逗号分隔值文件(Comma-Separated Values)。可以将测试结果复制到Excel/Numbers等数据分析软件中做进一步对比分析。
csv文件结果如图所示:
在文档使用中是否遇到以下问题
更多建议
匿名提交