1. 课程导入与Elastic数据建模全景

在开始学习《Elastic数据建模与分析工程》之前，先要建立一个清晰的认知：Elasticsearch 并不是一个"把数据丢进去就能查"的黑盒，而是一套围绕倒排索引构建的分布式文档数据库。数据建模的质量，直接决定了后续查询性能、存储成本、聚合分析能力，甚至集群的稳定性。本课程的目标，是让你从"会写 DSL 查询"进阶到"能设计出可支撑业务演进的数据模型"。

Elasticsearch 在数据建模与分析工程中的定位

从数据工程视角看，Elasticsearch 处于"数据服务层"：上游对接业务数据库、日志采集管道（如 Filebeat、Logstash、Kafka），下游支撑搜索、聚合分析、可视化（Kibana）与告警。它不擅长做事务性写入，也不适合作为唯一的事实存储，但在全文检索、多维过滤、近实时聚合这三类场景中具有明显优势。因此，数据建模的核心矛盾是：如何在"写入时的文档结构"与"查询时的访问模式"之间取得平衡。

理解这一点后，我们就能明确本课程的学习路径：先掌握核心概念与映射机制，再学习字段类型选择、关系建模（嵌套、父子、反规范化）、分片与副本规划，最后进入聚合分析、性能调优与工程化落地。

五个核心概念：索引、文档、映射、分片、副本

索引（Index）是逻辑上的数据集合，类似关系型数据库中的"表"，但更准确地说，它是具有相同映射结构的一批文档的容器。索引名必须小写，且在实际工程中常按时间滚动，例如 logs-2025.06.01。

文档（Document）是 Elasticsearch 中不可再分的最小数据单元，以 JSON 表示，拥有唯一 _id。文档是"自包含"的，即一条记录通常包含查询所需的全部字段，这是反规范化设计的直接体现。

映射（Mapping）定义文档中每个字段的类型与索引方式，相当于"表结构 + 索引策略"。它决定了字段能否被搜索、如何被分词、是否参与聚合。映射一旦创建，字段类型通常不可修改，只能通过重建索引调整，因此建模阶段必须谨慎。

分片（Shard）是索引的物理切分单元，每个分片是一个独立的 Lucene 实例。分片数量在索引创建时确定，之后不可更改（除非 reindex）。分片让数据可以水平扩展，但分片过多会带来集群管理开销，过少则无法充分利用节点资源。

副本（Replica）是分片的拷贝，用于提供高可用与读吞吐扩展。主分片与副本分片不会分配在同一节点上。副本数量可以动态调整，这是应对读压力最直接的手段。

上图展示了五个概念之间的结构关系：文档按映射定义组织，索引在物理上被切分为多个主分片，每个主分片又有对应的副本分片分布在不同节点上。理解这张图，就理解了 Elasticsearch 数据建模的"物理底座"。

典型应用场景

Elasticsearch 的建模方式高度依赖场景，常见的有四类：

• 全文检索：商品搜索、文章检索。核心是 text 类型 + 分词器 + match 查询，需要关注相关度评分与同义词。
• 日志与可观测性：日志、指标、链路追踪。核心是时间序列索引 + keyword 聚合 + ILM 生命周期管理，写入量大，通常关闭副本或使用低副本数。
• 多维过滤与聚合分析：订单分析、用户行为分析。核心是 keyword、date、numeric 字段的合理组合，以及 doc_values 的利用。
• 地理空间与向量检索：附近搜索、语义搜索。核心是 geo_point、dense_vector 等专用类型。

不同场景对映射、分片、刷新间隔的要求差异很大。例如日志场景常设置 refresh_interval: 30s 以降低写入压力，而商品搜索场景可能需要 1s 以保证近实时可见。

一个最小建模示例

下面是一个商品索引的映射定义，展示了字段类型选择的基本思路：

PUT /products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "1s"
  },
  "mappings": {
    "properties": {
      "product_id":   { "type": "keyword" },
      "title":        { "type": "text", "analyzer": "ik_max_word" },
      "brand":        { "type": "keyword" },
      "price":        { "type": "scaled_float", "scaling_factor": 100 },
      "created_at":   { "type": "date" },
      "tags":         { "type": "keyword" },
      "description":  { "type": "text", "index": false }
    }
  }
}

这里有几个关键决策：product_id 用 keyword 而非 text，因为它需要精确匹配和聚合；title 用 text 并指定中文分词器，支持全文检索；price 用 scaled_float 而非 double，在精度足够的前提下节省存储；description 设置 index: false，表示只存储不索引，避免大字段拖慢写入。这些选择没有绝对对错，取决于查询模式。

学习路径与工程视角

本课程后续将沿着"概念 → 映射 → 关系建模 → 分片与副本规划 → 聚合分析 → 性能调优 → 工程化落地"的路径展开。每一章都会围绕真实场景给出可执行的配置、查询与判断依据。你需要建立的思维习惯是：先明确访问模式，再设计文档结构，最后规划物理分片。顺序颠倒，往往会在数据量增长后付出重建索引的代价。

数据建模不是一次性工作，而是随业务演进的持续过程。Elasticsearch 提供了 _reindex、别名切换、索引模板等机制来支持平滑演进，但这些手段的前提，是你对当前模型的问题有清晰判断。这正是本课程希望培养的核心能力。