3. 索引模板设计：索引模板的作用、匹配规则与字段映射设计原则

索引模板（Index Template）是 Elasticsearch 中实现索引预定义配置的核心机制。在日志平台中，每天会生成大量结构相似的日志索引（如 nginx-access-2025-04-01），通过模板可以自动为新索引应用统一的设置、映射和别名，避免手动重复配置，是索引治理的第一道防线。

3.1 索引模板的核心作用

3.2 匹配规则：模板如何找到目标索引

Elasticsearch 支持索引模板（Index Template）和组件模板（Component Template）两种层级。匹配规则基于 index_patterns 字段，支持通配符和简单正则。

3.2.1 匹配优先级

1. 显式创建索引（PUT /my-index）的优先级最高，会覆盖模板映射。
2. 索引模板按 priority 值从高到低匹配，高优先级模板覆盖低优先级。
3. 组件模板通过索引模板的 composed_of 字段组合引用，组件模板之间无优先级，合并时后引用的覆盖前引用的。
4. 如果多个索引模板匹配同一个索引名，仅最高优先级的模板生效。

3.2.2 匹配示例

// 索引模板定义示例
PUT _index_template/nginx-logs-template
{
  "index_patterns": ["nginx-*", "access-*"],
  "priority": 200,
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "refresh_interval": "30s"
    },
    "mappings": {
      // 字段映射定义
    },
    "aliases": {
      "nginx-logs": {}
    }
  }
}

当新索引 nginx-access-2025-04-01 创建时，会自动匹配该模板，获得 3 个主分片、1 个副本、30 秒刷新间隔，并加入 nginx-logs 别名。

3.3 字段映射（Mapping）设计原则

字段映射决定了日志数据如何被索引和存储。错误的映射会导致查询性能下降、存储膨胀甚至查询失败。以下是日志场景下的六条核心设计原则。

3.4 映射设计实战：Nginx 访问日志模板

以下是一个经过治理优化的 Nginx 访问日志索引模板映射片段，展示了上述原则的具体应用。

PUT _index_template/nginx-access-template
{
  "index_patterns": ["nginx-access-*"],
  "priority": 100,
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "refresh_interval": "30s"
    },
    "mappings": {
      "dynamic": "strict",                // 禁止自动创建新字段
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis"
        },
        "client_ip": {
          "type": "ip"                    // IP 专用类型，节省空间且支持 CIDR 查询
        },
        "method": {
          "type": "keyword"               // GET/POST 等精确值，无需分词
        },
        "url": {
          "type": "text",
          "fields": {
            "keyword": {                  // 多字段：text 用于搜索，keyword 用于聚合
              "type": "keyword",
              "ignore_above": 2048
            }
          }
        },
        "http_status": {
          "type": "short"                 // 数值类型，比 keyword 更省空间
        },
        "response_time": {
          "type": "float",
          "doc_values": true              // 需要聚合统计响应时间
        },
        "user_agent": {
          "type": "text",
          "index": false,                 // 只存储不索引，节省 I/O
          "doc_values": false
        },
        "raw_log": {
          "type": "text",
          "index": false,                 // 原始日志仅用于回溯，不参与搜索
          "doc_values": false
        }
      }
    },
    "aliases": {
      "nginx-access": {}
    }
  }
}

3.5 索引模板匹配与映射设计流程

3.6 模板治理最佳实践清单

• 命名规范：模板名称使用 {来源}-{类型}-template 格式，如 nginx-access-template，便于管理和排查。
• 版本管理：在模板元数据中添加 _meta.version 字段，记录模板版本号，方便变更追溯。
• 定期审计：使用 GET _index_template 和 GET _component_template 定期检查模板列表，清理废弃模板。
• 测试验证：在非生产环境使用 PUT _index_template/_simulate/{name} 模拟模板匹配结果，确认映射符合预期。
• 组件模板复用：将公共设置（如分片数、副本数、ILM 策略）抽取为组件模板，多个索引模板通过 composed_of 引用，减少重复定义。