📚 课程目录第1章课程导入

1. 课程导入

入侵检测系统（Intrusion Detection System，IDS）是网络安全纵深防御体系中的关键感知层。它不直接阻断流量，却承担着“看见异常、记录证据、触发响应”的职责。在真实企业环境中，单纯依赖签名规则会漏掉未知威胁，单纯依赖机器学习又容易产生大量误报。因此，本课程的核心命题是：如何把规则检测与机器学习检测工程化地结合起来，构建可运营、可解释、可持续迭代的检测能力。

本课程不是“调包跑模型”的演示课，而是面向检测工程（Detection Engineering）的实战课。你将同时掌握规则语言、特征工程、模型训练、告警降噪、规则与模型协同、检测效果评估与持续运营的完整链路。

一、学习目标：从“会写规则”到“会做检测工程”

本课程的学习目标分为四个层次，层层递进：

认知层：理解IDS的分类（NIDS/HIDS）、检测范式（误用检测/异常检测）、规则引擎与机器学习模型的适用边界。
技能层：能独立编写Suricata/Snort规则，能完成PCAP/日志的流量特征提取，能训练并评估二分类与多分类检测模型。
工程层：能把规则与模型接入同一数据管道，实现告警归一化、去重、优先级排序与自动化响应。
运营层：能设计检测覆盖率指标、误报率指标、模型漂移监控与规则版本管理流程。

二、核心概念：规则、特征、模型、告警

在进入实战前，必须统一四个核心概念的语言体系。规则是专家知识的显式表达，特征是数据到模型的桥梁，模型是统计规律的隐式表达，告警是检测结果的最终交付物。四者关系可以用下面的信号链图表示：

上图展示了本课程贯穿始终的信号链：原始数据经过特征提取后，分别进入规则匹配与模型推理两条路径，结果在告警归一化层汇合，最终交付给SOC响应，并通过反馈闭环反哺规则与模型。这条链路中的每一环，都是后续章节的实战对象。

三、整体框架：规则与机器学习如何协同

规则与机器学习不是替代关系，而是互补关系。规则擅长精确匹配已知攻击模式，具有高可解释性和低延迟；机器学习擅长发现统计异常和未知变种，但需要特征工程和持续调优。本课程的整体框架可以用下表概括：

维度	规则检测	机器学习检测	协同方式
检测对象	已知签名、协议异常	统计偏离、行为模式	规则前置过滤，模型二次评分
可解释性	高，规则即证据	中低，需SHAP/LIME辅助	模型告警附带特征贡献度
维护成本	规则库需持续更新	需标注数据与再训练	统一版本管理与A/B测试
典型工具	Suricata、Snort、YARA	scikit-learn、XGBoost、PyTorch	Kafka + Flink + 规则/模型服务
关键指标	覆盖率、误报率	精确率、召回率、F1、AUC	统一告警质量看板

四、实战路线图：30章如何一步步落地

本课程共30章，按“基础—规则—特征—模型—工程—运营”六阶段推进。每个阶段都有明确的交付物，避免只学不练。

基础阶段（第1-4章）：IDS分类、检测范式、实验环境搭建、数据采集与PCAP分析。
规则阶段（第5-10章）：Suricata规则语法、协议解析、阈值与流关键字、规则性能优化、规则测试与回归。
特征阶段（第11-15章）：流量统计特征、时序特征、载荷特征、特征选择与归一化、特征存储。
模型阶段（第16-22章）：监督学习基线、异常检测算法、深度学习序列模型、模型评估与阈值调优、可解释性分析。
工程阶段（第23-27章）：规则与模型服务化、告警归一化、Kafka/Flink数据管道、自动化响应编排。
运营阶段（第28-30章）：检测覆盖率度量、误报复盘、模型漂移监控、规则版本管理与持续迭代。

建议每学完一个阶段，都在自己的实验环境中完成一次端到端小闭环。例如：用Suricata抓取一段PCAP，提取特征，训练一个二分类模型，再把模型评分与规则告警合并输出。只有跑通闭环，知识才会变成能力。

五、案例场景：一次真实的检测工程迭代

假设某企业SOC发现Suricata对某类WebShell上传行为漏报严重。传统做法是不断加规则，但攻击者会混淆载荷，规则很快失效。本课程倡导的做法是：

1. 采集近30天HTTP POST流量与告警日志
2. 提取特征：请求体熵值、文件扩展名、Content-Type、上传路径深度、UA异常度
3. 训练XGBoost二分类模型，输出WebShell概率
4. 将模型评分作为Suricata告警的富化字段写入EVE JSON
5. 在SOC看板中按“规则命中 + 模型评分”排序，优先处理高分告警
6. 每周复盘误报与漏报，更新特征与阈值

这个案例说明：规则负责“快速命中已知”，模型负责“发现未知”，工程管道负责“把两者拼在一起”，运营闭环负责“让检测能力持续进化”。

常见误区：把机器学习当成“万能检测器”，忽视特征质量和标注数据；或者把规则写得过于宽泛，导致告警洪水。检测工程的核心不是追求单一技术的极致，而是追求整体检测链路的可运营性和可持续性。

六、复盘与准备：开始之前你需要什么

在进入第2章之前，请确认你已具备以下基础：Linux命令行操作、Python基础编程、网络协议（TCP/IP、HTTP、DNS）基本概念、以及一台可运行Docker的实验机器。如果你对其中某项不熟悉，建议先补齐，再进入后续实战。

本课程的所有代码、规则和配置都会以可复现的方式给出。你不需要昂贵的硬件，一台8GB内存的笔记本配合Docker即可完成大部分实验。重要的是保持动手习惯：每读一章，至少跑一次示例，改一次参数，看一次输出变化。

检测工程是一门“在对抗中进化”的学科。规则会过期，模型会漂移，但工程化的检测思维和持续迭代的运营习惯，才是长期有效的核心能力。让我们从第2章开始，正式进入IDS的世界。