codec-compression是阿里云Elasticsearch(简称ES)团队自主开发的索引压缩插件,支持brotli和zstd压缩算法,具有更高的索引压缩比,可以大幅降低索引的存储成本。
前提条件
- 创建阿里云ES实例(6.7.0版本),详情请参见创建阿里云Elasticsearch实例。
注意 codec-compression插件目前只支持阿里云ES 6.7.0版本,因此请创建6.7.0版本的实例。
- 安装codec-compression插件(新购实例默认已安装)。
您可在插件配置页面查看是否已安装codec-compression插件,如果还未安装,请手动进行安装,安装方法请参见安装或卸载系统默认插件。
背景信息
- 测试环境
- 机器配置:数据节点16核64 GB*3 + 2 TB SSD云盘。
- 数据集:官方esrally自带的nyc_taxis(74 GB)。
- 索引配置:都使用默认配置,写入完成后都可以进行force merge。
- 测试结果
压缩算法 索引大小(GB) 写入TPS(doc/s) ES默认压缩算法(LZ4) 35.5 202682 best_compression(DEFLATE) 26.4 181686 brotli 24.4 182593 zstd 24.6 181393 - 结论
codec-compression插件使用的brotli和zstd压缩算法,与默认压缩算法(LZ4)相比,写入性能下降了10%,压缩率提升了45%;与原生best_compression(DEFLATE)相比,写入性能不变,压缩率提升了8%。