2、索引与数据源：理解索引、数据类型、source 和 sourcetype、字段提取
说实话，很多新手刚开始用 Splunk 时，最困惑的就是索引、source、sourcetype 这几个概念到底有什么区别。我记得自己刚接触时也绕了好一阵子。这一章咱们就把这些基础概念彻底搞明白，为后面的查询优化打好地基。
2.1 索引——Splunk 的存储核心
索引是什么？说白了，它就是 Splunk 存放数据的地方。你想想看，每次搜索数据，Splunk 并不是去翻原始日志文件，而是去查索引。没有索引，搜索速度会慢到让你怀疑人生。
我在项目中遇到过这样一个案例：有个客户说搜索越来越慢，我一看，所有数据都塞到了一个索引里，而且没做任何时间分区。后来按天做了索引分区，搜索速度直接提升了 3 倍。
索引的核心特点：
- 数据写入后不可变——索引一旦写入就不会再改，保证了搜索一致性。
- 按时间分区存储——默认按天分区，你也可以按小时或周来调整。
- 支持快速检索——倒排索引结构让关键词查找几乎瞬时完成。
2.2 数据类型：事件、元数据、原始数据
Splunk 里的数据类型，我觉得可以分成三层来看：
| 类型 | 说明 | 举个例子 |
|---|---|---|
| 原始数据（Raw Data） | 日志文件里的每一行原文 | 2024-01-15 10:00:00 ERROR connection timeout |
| 事件（Event） | Splunk 解析后的一条记录 | 包含时间戳、原始内容、元数据字段 |
| 元数据（Metadata） | 系统自动添加的字段 | index、source、sourcetype、host |
为什么要区分这三者？因为你在搜索时看到的是事件，但真正决定搜索效率的是索引对原始数据的组织方式。元数据则是 Splunk 自动帮你打上的标签，用来快速定位数据来源。
我个人习惯在排查问题时先看原始数据，确认日志有没有完整接入，再看事件字段有没有解析正确。这一步往往能发现不少问题。
2.3 source 和 sourcetype——数据的身份证
这两个概念太容易混淆了。我简单说一下：
- source 是数据的物理来源——哪个文件、哪个网络端口、哪个脚本。
- sourcetype 是数据的逻辑格式——这种数据长什么样，该怎么解析。
举个例子：你可能有 10 台 Web 服务器的访问日志，每台服务器上日志文件路径不同，所以 source 不同。但这些日志的格式完全一样，所以 sourcetype 可以统一设为 access_combined。
| 属性 | 含义 | 典型值 |
|---|---|---|
| source | 数据的具体来源路径 | /var/log/nginx/access.log |
| sourcetype | 数据的格式分类 | access_combined、syslog、json |
在搜索时，你可以这样查看：
index=main | stats count by source sourcetype我曾经帮一个客户排查数据丢失问题，找了半天发现是 sourcetype 配置错了，数据被 Splunk 当成了未知格式直接丢弃。嗯，这里要特别提醒：sourcetype 的配置直接影响字段提取和搜索性能，千万别随手写个 generic_single_line 了事。
props.conf 里为每个 sourcetype 指定 TRANSFORMS 或 EXTRACT 规则，可以大幅提升字段解析的准确率。我自己的习惯是：先写一个测试 sourcetype，跑通解析逻辑后再正式上线。
2.4 字段提取：索引时 vs 搜索时
字段提取有两种时机，性能和灵活性差异很大。
| 提取时机 | 优点 | 缺点 |
|---|---|---|
| 索引时（Index Time） | 搜索时直接使用，速度最快 | 配置复杂，改字段需要重新索引数据 |
| 搜索时（Search Time） | 灵活，随时可以改提取规则 | 每次搜索都要解析，会消耗更多 CPU |
我建议大部分场景下用搜索时提取。为什么？因为你永远不知道未来需要什么字段。索引时提取一旦配好，想改就得重新过一遍数据，太痛苦了。
搜索时提取的配置也很简单，在 props.conf 里写规则就行：
# 在 props.conf 中配置搜索时字段提取
[sourcetype:my_app_log]
EXTRACT = status=(?<status>\d+), duration=(?<duration>\d+\.?\d*)然后在搜索时直接用：
index=main sourcetype=my_app_log status=200 | stats avg(duration)说一个我踩过的坑：有次为了追求搜索速度，我把所有字段都配成了索引时提取。结果业务方要加一个新字段，我得全量重新索引 2TB 数据，整整跑了三天。从那以后，我再也不敢滥用索引时提取了。
本章知识体系
下面这张图把索引、数据类型、source/sourcetype、字段提取的关系串了起来。你可以把它当作本章的“思维导图”来记：