4. 索引分片与副本规划：主分片与副本分片数量选择、分片大小估算、节点资源平衡

分片（Shard）是 Elasticsearch 实现水平扩展与高可用的核心单元。主分片（Primary Shard）承载数据的写入与查询，副本分片（Replica Shard）提供数据冗余与读负载分担。不合理的分片规划会导致集群性能下降、资源浪费甚至数据丢失风险。本章从分片数量选择、分片大小估算、节点资源平衡三个维度，给出可落地的治理策略。

4.1 主分片与副本分片数量选择

主分片数量在索引创建时确定，创建后不可修改（除非重建索引）。副本分片数量可动态调整。选择原则如下：

4.2 分片大小估算

分片大小直接影响查询性能与数据均衡。过小的分片导致分片数量膨胀，过大的分片拖慢恢复与查询。估算步骤如下：

1. 确定每日/每周数据增量：根据日志采集速率计算原始数据量（GB/天）。
2. 考虑压缩与副本：原始数据 × 压缩比（通常 0.3-0.5）× (1 + 副本数)。
3. 设定目标分片大小：推荐 20-50GB，最大不超过 100GB。
4. 计算主分片数：总存储量 ÷ 目标分片大小，向上取整。

4.3 节点资源平衡

分片在节点间的分布直接影响 CPU、内存、磁盘 I/O 的负载均衡。常见问题包括：热节点（分片集中）、冷节点（资源闲置）、磁盘使用不均。

4.3.1 分片分配策略

• 基于磁盘的分配：Elasticsearch 默认根据节点磁盘剩余空间比例分配分片，避免磁盘写满。
• 基于分片数的分配：通过 cluster.routing.allocation.total_shards_per_node 限制单节点最大分片数。
• 基于可用区的分配：跨机架/可用区分配副本，防止单点故障。

4.3.2 节点角色分离

4.4 分片与副本规划综合示例

以下是一个典型的日志平台索引规划配置：

# 创建日志索引模板
PUT _index_template/logs_template
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "number_of_shards": 5,
      "number_of_replicas": 1,
      "routing.allocation.total_shards_per_node": 10,
      "index.routing.allocation.require.box_type": "hot"
    },
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "level": { "type": "keyword" },
        "message": { "type": "text" },
        "host": { "type": "keyword" }
      }
    }
  }
}

4.5 常见问题与调优建议

• 分片过多：导致集群元数据膨胀、查询广播开销大。建议定期合并小索引或使用 ILM 滚动策略。
• 分片过大：超过 100GB 的分片在故障恢复时耗时过长。建议提前拆分或重建索引。
• 副本过多：写入吞吐下降，存储成本翻倍。生产环境 1-2 个副本足够，除非读请求极高。
• 节点磁盘不均：启用 cluster.routing.rebalance.enable 和 disk.threshold 配置，让集群自动平衡。