📚 课程目录第4章 Elasticsearch映射与分词

4、Elasticsearch映射与分词：动态映射、显式映射、中文分词器配置

Mapping，说白了就是告诉 ES：你的数据长什么样。它定义字段名称、数据类型，还有最重要的——怎么分词。我刚开始用 ES 时，觉得 Mapping 可有可无。反正数据丢进去也能查，省事。直到有一次，日志里有个字段存的是 IP 地址，结果按范围查询怎么都查不对……嗯，从那以后，Mapping 就成了我建索引的第一步。

动态映射：自动但不完美

ES 默认是开启动态映射的。你在创建索引时不写 Mapping，直接往里面“怼”数据，ES 会自动推断字段类型。举个例子：

# 创建一个测试索引
PUT /my_index/_doc/1
{
  "message": "Login success",
  "response_time": 120,
  "user_id": "u1001",
  "login_at": "2025-03-20T10:30:00Z"
}

ES 收到这条数据，会自己猜类型：message 是 text，response_time 是 long，user_id 是 keyword，login_at 是 date。看着还行，是吧？但你想想看，这是一种“猜”——猜对了还好，猜错了就麻烦。

默认数字映射有坑：ES 会把所有整数都映射成 long，所有浮点数变成 float。我有个同事在数值范围查询时发现结果不对，找了半天，原来是 0 和 1 被 ES 当成了 long 类型，而查询用的却是 integer。实际上 ES 在动态映射时有一个数字类型推断规则：

原始数据	ES 推断类型	实际匹配建议
123	long	integer（如果数值范围可控）
123.45	float	double（高精度场景）
"true" / "false"	text	boolean（主动指定）
"2025-01-01"	date	date（带format控制）

动态映射还有一个“隐藏炸弹”——字段膨胀。每天的日志里万一出现一个新字段，ES 就会自动添加到 Mapping 中。索引跑几个月，Mapping 里冒出几百个字段，磁盘和内存双双告急。我记得在项目里遇到过这种情况，查询性能直接掉了一半。所以，我在生产环境里都会把动态映射关掉，或者给它加个“动态模板”来限制。

⚠️ 重要提醒：动态映射虽然省事，但别在生产环境完全依赖它。日志巡检场景下，字段一旦变多，Mapping 膨胀会导致集群性能下降。我的建议是：测试阶段可以开，上线前一定锁定。

# 关闭动态映射
PUT /my_index
{
  "mappings": {
    "dynamic": false
  }
}

# 使用动态模板，只允许特定模式的新字段
PUT /my_index_with_template
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

显式映射：把规则捏在自己手里

说白了，显式映射就是你自己写 Mapping，不让 ES 瞎猜。你想想看，日志巡检最怕什么？字段类型不对，查不了聚合。所以，我建议你在创建索引的时候，就把要用到的字段一个个写清楚。

# 创建索引时指定 Mapping
PUT /nginx_access_log
{
  "mappings": {
    "properties": {
      "client_ip":    { "type": "ip" },
      "method":       { "type": "keyword" },
      "url":          { "type": "text", "analyzer": "standard" },
      "status_code":  { "type": "integer" },
      "response_time_ms": { "type": "integer" },
      "timestamp":    { 
        "type": "date", 
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      "user_agent":   { "type": "text", "analyzer": "ik_max_word" }
    }
  }
}

这段 Mapping 你看：client_ip 用 ip 类型，status_code 用 integer，timestamp 用 date 加上自定义格式。这些都按实际业务需求来定。

💡 我的经验：在创建索引的 Mapping 时，如果某个字段只在过滤时用（比如精确匹配），一定把它设成 keyword。keyword 类型的字段不走分词，存储和查询效率都高很多。我见过太多人把所有的字符串字段都设成 text，然后查询慢到怀疑人生。

另外，Mapping 一旦创建好，大部分属性是不能改的。你后期只能新增字段，或者修改个别属性（比如新增 fields 多字段）。所以，我建议你在上线前就把 Mapping 定好，别想着“先跑起来再说”——返工成本太高。

可修改的 Mapping 属性	不可修改的属性
添加新字段	现有字段的 `type`
为现有字段添加 `fields` 子字段	现有字段的 `analyzer`
修改 `ignore_above`	现有字段的 `index` 开关
修改 `format`（仅 date 类型）	现有字段的 `store`

中文分词器配置：IK 来了

如果你的日志里只有英文，ES 自带的 standard 分词器基本够用。但一旦碰到中文——嗯，就出问题了。standard 会把中文按单字切分，“登录失败”会变成“登”、“录”、“失”、“败”四个词。查“登录”再查不到匹配内容，搜索结果就全乱了。

这时，IK 分词器就派上用场了。IK 有两种分词模式：

ik_smart：粗粒度切分。比如“中华人民共和国”切分成“中华人民共和国”。适合搜索场景，精度高。
ik_max_word：最细粒度切分。同样的“中华人民共和国”会切分成“中华人民共和国”、“中华”、“华人”、“人民共和国”、“人民”等。适合索引阶段，召回率高。

🔑 核心配置思路：索引阶段用 ik_max_word 提高召回，搜索阶段用 ik_smart 提升精度。两边用不同的分词器，效果最好。我当初在项目里就是这么配置的，搜索准确率提升了一大截。

安装 IK 分词器其实不复杂，但有几个地方容易出错：

# 1. 下载对应 ES 版本的 IK 插件
# 版本号一定要和 ES 一致
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.10.2/elasticsearch-analysis-ik-8.10.2.zip

# 2. 重启 ES 后，测试 IK 是否生效
POST /_analyze
{
  "text": "ELK日志巡检从入门到实战",
  "analyzer": "ik_max_word"
}

上面这段代码跑通后，你会看到 IK 正确地切分出了“ELK”、“日志”、“巡检”、“入门”、“实战”这些有意义的词。

⚠️ 注意：IK 的版本必须和 ES 严格匹配。我见过不少人因为版本没对上，插件装好但不能用，一索引就报错。另外，IK 的自定义词典文件路径在 {ES_HOME}/plugins/analysis-ik/config/。如果你有行业专有词汇（比如“库表名”、“微服务”），可以加到 custom/mydict.dic 里，重启后生效。

自定义词典：让 IK 更懂你的业务

IK 默认字典大概有 30 万条词，覆盖常用词汇。但日志巡检场景经常出现专业术语，比如“CPU使用率”、“堆内存”、“GC暂停”。这些词如果不加进词典，IK 会把它切碎。我建议你建一个业务专属词典文件。

💡 个人建议：把日志里出现频率较高的组合词全部整理出来。比如你的系统有“订单支付回调”，放在默认词典里可能会被切分成“订单”、“支付”、“回调”。但如果你希望它作为一个整体去搜索，那就加进自定义词典。操作很简单：在 custom 目录下创建一个 .dic 文件，一行一个词，重启 ES。

# 示例 custom/monitor_dict.dic
CPU使用率
堆内存占用
GC暂停
接口超时
日志轮转
索引分片

配置好之后，在 Mapping 里指定使用 IK：

PUT /app_logs
{
  "mappings": {
    "properties": {
      "message": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

索引阶段用 ik_max_word 多切词提高召回，搜索阶段用 ik_smart 减噪、提升准确率。这个组合我一直用，效果很稳定。

这张图你应该能看清整体流程。数据写入后，你面临两个选择：要么让 ES 自己猜（动态映射），要么自己定规则（显式映射）。选显式映射之后，逐一确认字段类型、分词器，最后落到 IK 的配置上。一张图把整个 Mapping 决策链串起来了。