性能调优

分片数量规划

分片（Shard）是数据分布和并行处理的基本单元，合理规划分片数量对性能至关重要。

关键原则：

• 每个分片建议保持在 30-50 GB 之间。

• 分片数量不宜超过节点数 × 20。

• 分片数在索引创建后不可修改，需提前规划。

• 过多分片会增加集群元数据开销和协调成本。

副本数量选择

Mapping 设计最佳实践

curl -XPUT "http://<Search引擎地址>:<port>/my-index" \
  -u "<用户名>:<密码>" -k \
  -H "Content-Type: application/json" \
  -d '{
    "settings": { "index.mapping.total_fields.limit": 1000 },
    "mappings": {
      "dynamic": "strict",
      "properties": {
        "title":      { "type": "text",    "analyzer": "ik_max_word" },
        "status":     { "type": "keyword" },
        "price":      { "type": "float" },
        "created_at": { "type": "date" }
      }
    }
  }'

• 设置 "dynamic": "strict" 禁止自动添加未定义字段，避免 mapping 膨胀。

• 不需要搜索的字段设置 "index": false 减少索引开销。

• 不需要聚合/排序的 text 字段不要添加 keyword 子字段。

• 精确匹配字段使用 keyword 而非 text。

• 数值字段选择合适的类型（不要所有数字都用 long）。

禁用不必要的特性

批量写入配置

• 单次 _bulk 大小：5-15 MB，过大会导致内存压力。

• 单次文档数：1000-5000 条，取决于单条文档大小。

• 并发写入线程：2-4，根据节点 CPU 核数调整。

写入期间索引配置优化

大批量导入数据前，临时调整索引参数以提升写入速度：

# 写入前：关闭副本、增大 refresh 间隔
curl -XPUT "http://<Search引擎地址>:<port>/my-index/_settings" \
  -u "<用户名>:<密码>" -k \
  -H "Content-Type: application/json" \
  -d '{
    "number_of_replicas":            0,
    "refresh_interval":              "-1",
    "translog.durability":           "async",
    "translog.flush_threshold_size": "1gb"
  }'

# === 执行批量数据导入 ===

# 写入后：恢复正常配置
curl -XPUT "http://<Search引擎地址>:<port>/my-index/_settings" \
  -u "<用户名>:<密码>" -k \
  -H "Content-Type: application/json" \
  -d '{
    "number_of_replicas":  1,
    "refresh_interval":    "1s",
    "translog.durability": "request"
  }'

curl -XPOST "http://<Search引擎地址>:<port>/my-index/_refresh"                        -u "<用户名>:<密码>" -k
curl -XPOST "http://<Search引擎地址>:<port>/my-index/_forcemerge?max_num_segments=1"  -u "<用户名>:<密码>" -k

避免深度分页

// 不推荐：深度分页性能极差
{ "from": 10000, "size": 10 }

// 推荐:使用 search_after
{
  "size": 10,
  "sort": [ { "created_at": "desc" }, { "_id": "asc" } ],
  "search_after": ["2025-05-25T10:00:00Z", "doc_id_123"]
}

合理使用 filter context

filter 子句不参与评分，可利用缓存，性能优于 must。不需要影响相关度评分的条件，一律放在 filter 中。

限制返回字段

{
  "query": { "match": { "content": "搜索" } },
  "_source": ["title", "summary", "created_at"],
  "size": 10
}

避免返回大型字段（如全文 content、向量 embedding），只返回展示所需的字段。

避免昂贵查询

• *abc 前缀通配符：使用 reverse token filter或 ngram。

• 复杂 script_score：使用预计算字段。

• 嵌套层级过深的nested query：反范式化设计。

• 大量should子句 （>100）：使用terms query。

• match_all + 大size：分页或scroll。

向量维度选择

HNSW 参数调优