# 课程介绍与日志分析概述
## 为什么这门课值得你花时间?
干了十几年安全运营,我见过太多团队被海量日志淹没了。你想想看,每天几千台设备、几十个系统,日志量轻松上千万条。大部分团队的做法是什么?架个SIEM,配几条规则,然后等着告警响。
说实话,我也这么干过。直到有一次,客户那边已经被入侵了三个月,我们愣是没发现。
为什么?因为日志都在。但没人真正去挖。
历史日志深度挖掘与IOC提取方法 - 第1节
日志分析到底在分析什么?
日志分析并不是把日志收上来、排个序就完事了。它是一场“现场还原”。每一行日志,都是案发现场的一个碎片。
我习惯把日志分析分成三个层次:
| 层次 | 核心任务 | 产出物 | 典型耗时 |
|------|----------|--------|----------|
| 基础层 | 日志采集与清洗 | 结构化日志 | 持续进行 |
| 分析层 | 关联与模式识别 | 攻击链还原 | 按需开展 |
| 情报层 | IOC提取与威胁判定 | 可复用情报 | 事件驱动 |
你可能觉得这三个层次挺简单。但实际项目中,大部分团队卡在“基础层”就动不了了——日志不完整、时间戳不对齐、字段名混乱……我现在带队做项目,第一件事永远不是写分析脚本,而是确认日志质量。
血的教训: 我曾经接手过一个项目,客户的防火墙日志带了时间戳但没有时区信息。我按本地时间分析了三天,最后发现所有时间偏差了整整7个小时。别问我是怎么知道的。
安全日志的特殊价值
很多人都知道日志重要,但说不清楚它跟普通数据有什么不同。我总结了几点:
- **不可再生性**:日志是一次性的。删了就没了,补不回来。
- **时序敏感性**:时间轴一乱,整个攻击链就重建不了。
- **上下文依赖**:单看一条日志没用,要看它前后的“邻居”。
- **格式多样性**:一个项目里能碰到十几种日志格式,Windows Event Log、Syslog、JSON、CSV、CEF……嗯,你总要学会怎么跟它们打交道。
## IOC——我们到底在挖什么?
IOC,Indicator of Compromise,妥协指标。说白了,就是攻击者留下的痕迹。
我见过不少新人,一听到IOC就以为是“IP地址+域名+文件Hash”。这种理解太窄了。你看下面这个表:
IOC的完整分类(我一贯用的框架)
| IOC类型 | 示例 | 检测难度 | 时效性 |
|---------|------|---------|--------|
| 网络层 | 恶意IP、C2域名 | 低 | 短(IP随时变) |
| 终端层 | 文件路径、注册表键值 | 中 | 中 |
| 行为层 | 特定API调用序列 | 高 | 长 |
| 时间层 | 异常登录时间模式 | 中 | 视场景而定 |
| 关系层 | 特定用户→特定进程→特定域名的组合 | 极高 | 长 |
你可能注意到了,越往下走,检测难度越高,但IOC的“保质期”也越长。我在追踪APT攻击时,最常用的是行为层和关系层的IOC——因为IP会换、文件会删,但攻击者的操作习惯很难改。
日志深度挖掘的定义
别把“深度挖掘”想得太玄。我的定义很简单:
> 从看似孤立的日志碎片中,找到那些不显眼的、有情报价值的关联关系。
这跟数据分析有点像,但区别在于——我们不是为了发现业务趋势,而是为了找出“有人干了不该干的事”的证据。
课程知识体系一览
说到这里,大家可能对我这门课的知识框架有了个大概印象。我专门画了张图,你看看:
这图是我自己总结的框架。你会发现整个体系分三大块:
1. **采集与预处理**——决定你能不能拿到干净的数据
2. **存储与索引**——决定你能不能快速找到想要的数据
3. **IOC提取与分析**——决定你能不能从数据里捞出有价值的情报
底部的工具选型、自动化脚本、威胁狩猎流程,是贯穿这三块的实践能力。
我的一点经验分享
做日志分析这么多年,我最大的感受是什么?不是技术有多难,而是**耐心比技术更重要**。
很多新人一上来就急着写“牛逼”的分析脚本,结果日志格式都没看清楚,分析结果全是错的。我自己早年犯过这种错——写了个检测横向移动的脚本,跑完发现false positive狂飙到80%多,后来排查才发现,是我把Windows日志里的EventID 4625(登录失败)和4776(凭据验证)搞混了。
这件事之后,我养成一个习惯:分析任何日志之前,先花时间读它的官方文档,理解每个字段的含义。
给你一个建议: 拿到一种新日志格式时,先做三件事:
1. 找出它的时间戳字段和格式
2. 确认每条日志的唯一标识(如果有的话)
3. 弄清楚它记录了“谁、在何时、在何地、做了什么、结果如何”
今天的内容就讲到这里。后面的章节,咱们会一个模块一个模块地深入。记住:日志分析的终点不是分析报告,而是你能提炼出可复用的IOC,让它在下一次攻击发生之前就帮你识别威胁。