使用aliyun-codec插件

使用须知

• 使用前需先安装插件，请参见安装或卸载系统默认插件。

• aliyun-codec插件仅支持7.10.0版本实例。

• 索引压缩功能需内核版本 1.5.0 及以上，source_reuse_doc_values 特性需内核版本 1.6.0 及以上。如当前版本不满足要求，请先完成内核升级。

性能参考

以下为aliyun-codec插件在特定测试环境下的性能数据，供评估参考。

测试环境：单个index，索引大小1.2 TB，22个shard。开启行存、列存和倒排压缩，均使用zstd压缩算法。数据集为阿里云Elasticsearch线上主日志。

索引压缩：与未开启索引压缩的集群相比：

• 写入速率：不变。

• 索引整体大小：降低了40%。

• I/O密集型查询场景延迟：降低了50%。

source_reuse_doc_values：与未开启该特性的集群相比：

• 写入速率：不变。

• 索引整体大小：最多可降低40%。降低百分比与索引中开启source_reuse_doc_values特性的字段比例相关。

• I/O密集型查询场景延迟：与开启特性的字段比例、节点磁盘类型等因素有关，具体以实际测试为准。

使用索引压缩功能

index.codec为非动态设置，修改前需先关闭索引，修改后重新打开索引。

假设已创建test索引，执行以下命令为该索引开启压缩：

POST test/_close

PUT test/_settings
{
  "index.codec" : "ali"
}

POST test/_open

添加以上配置后，Elasticsearch默认会对该索引的行存（source）、列存（docvalue）和倒排（postings）三类文件使用zstd算法进行压缩。

也可以为某类文件使用指定的压缩算法。以下示例对倒排文件不开启压缩，对行存和列存文件使用zstd算法进行压缩。要关闭某类文件的压缩，可将对应参数配置为""。

POST test/_close

PUT test/_settings
{
  "index.codec":"ali",
  "index.doc_value.compression.default":"zstd",
  "index.postings.compression":"",
  "index.source.compression":"zstd"
}

POST test/_open

索引配置参数说明如下。

使用source_reuse_doc_values特性

Elasticsearch底层会在_source、倒排索引和doc_values中存储多份数据。source_reuse_doc_values特性会将_source中与doc_values重复的部分进行裁剪，降低整体索引大小。

PUT test
{
  "settings": {
    "index": {
      "ali_codec_service": {
        "source_reuse_doc_values": {
          "enabled": true
        }
      }
    }
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.max_fields": 100
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.strict_max_fields": true
  }
}

PUT test/_settings
{
  "index": {
    "ali_codec_service": {
      "source_reuse_doc_values": {
        "fetch_slice": 2
      }
    }
  }
}

apack.doc_values_fetch:
size: 8
queue_size: 1000