1. 异常流量分析概述
大家好，我是你们这门课的主讲。在网络安全这行摸爬滚打了十几年，我见过太多因为流量异常导致系统瘫痪的案例。今天咱们就来聊聊，异常流量分析到底是个什么东西，为什么非得用AI，以及这门课到底怎么学。
1.1 什么是异常流量？
说白了，异常流量就是那些「不该出现」的网络数据包。你想想看，一个正常的电商网站，白天每秒几百个请求很正常。但如果凌晨三点突然飙到每秒几万个请求，那肯定有问题。
我遇到过最典型的例子：一家金融公司的服务器，平时流量很平稳。突然有一天，监控系统报警说带宽跑满了。查了半天，发现是某个API接口被恶意刷单，每秒几万次请求。这就是典型的异常流量——DDoS攻击。
异常流量大致分这么几类：
- DDoS攻击流量：大量僵尸主机同时发起请求，把带宽打满
- 扫描探测流量：攻击者在找系统漏洞，比如端口扫描、SQL注入探测
- 数据泄露流量：内部人员偷偷往外传数据，流量特征很隐蔽
- 爬虫流量：虽然不是攻击，但会占用服务器资源，影响正常用户
- 配置错误导致的异常：比如DNS解析循环、路由环路，这种最冤
核心观点：异常流量不一定是攻击，但一定是「不符合预期」的流量。判断标准就是：跟历史基线比，跟业务规律比。
1.2 为什么需要AI？
传统方法不行吗？当然行，但局限性很大。
我记得刚入行那会儿，公司用的是规则引擎。写一堆正则表达式，匹配到就报警。比如「单个IP每秒请求超过100次就告警」。听起来挺靠谱对吧？但实际用起来问题一堆：
- 规则写死了，攻击者稍微变个花样就绕过去了
- 误报率极高，正常业务高峰也触发告警
- 维护成本高，每周都要更新规则库
为什么会这样？因为网络流量是动态的。业务在变，攻击手法在变，你不可能靠几条静态规则搞定所有情况。
AI的优势在于：它能自己学习「什么是正常」。你给它看一周的正常流量数据，它就能建立基线。一旦出现偏离，立刻就能发现。而且AI能发现那些人类写不出规则的模式——比如慢速攻击，每秒只发一个包，但持续几个小时。这种用规则根本抓不到。
我的经验：AI不是万能的。我见过有人把AI当黑盒，训练完直接上线，结果误报率50%。记住：AI是辅助，不是替代。好的做法是AI+规则混合，AI负责发现未知威胁，规则负责处理已知威胁。
1.3 课程整体架构
这门课一共30章，我把它分成了四个阶段：
| 阶段 | 章节 | 内容 |
|---|---|---|
| 基础篇 | 1-5章 | 流量分析基础、网络协议、数据采集、特征工程入门 |
| 算法篇 | 6-15章 | 统计方法、聚类、分类、时序分析、深度学习模型 |
| 实战篇 | 16-25章 | DDoS检测、Web攻击检测、数据泄露检测、爬虫识别 |
| 进阶篇 | 26-30章 | 模型部署、实时流处理、联邦学习、对抗攻击防御 |
嗯，这里要特别说明一下：基础篇虽然看起来简单，但千万别跳过。我见过太多人一上来就搞深度学习，结果连TCP三次握手都说不清楚。基础不牢，地动山摇。
1.4 学习路径建议
我个人建议的学习路径是这样的：
- 先看基础篇：把网络协议、数据格式搞明白。尤其是pcap文件和NetFlow，这是后面所有分析的基础。
- 算法篇按顺序来：从统计方法开始，再到机器学习，最后才是深度学习。别一上来就搞Transformer，先学会用K-means做聚类。
- 实战篇挑着做：如果你主要做Web安全，重点看Web攻击检测那几章。如果你是做基础设施的，DDoS检测那几章更实用。
- 进阶篇看兴趣：模型部署和实时流处理是必看的，因为理论再好，落不了地等于零。
避坑指南：我曾经犯过一个错误——花了两周时间调一个深度学习模型，结果发现数据预处理阶段就有bug。所以我的建议是：每学完一章，立刻动手做实验。代码跑通了，才算真正学会了。
1.5 你需要准备什么？
硬件方面，一台普通电脑就够了。但如果你要做深度学习，建议搞个带GPU的机器。软件方面，我们会用到：
- Python 3.8+（推荐用Anaconda管理环境）
- Scikit-learn、TensorFlow或PyTorch
- Wireshark（抓包分析）
- Zeek（原Bro，流量分析工具）
- Jupyter Notebook（写代码和做实验）