📚 课程目录第4章异常流量特征工程

4. 异常流量特征工程：流量统计特征、时间序列特征、协议特征、载荷特征

特征工程，说白了就是给机器“喂”什么数据，让它学会识别坏人。你给一堆原始报文，模型根本看不懂。你得把报文翻译成数字、向量、统计量，模型才能干活。

我做了这么多年IoT安全，见过太多团队在模型上花大功夫，结果特征选错了，全白搭。今天咱们就把这四类特征掰开揉碎了讲清楚。

4.1 流量统计特征——最基础，也最管用

统计特征，就是算数。你想想看，一个智能灯泡，平时每分钟发1个心跳包。突然有一天，它每分钟发1000个包。这正常吗？肯定不正常。

我个人习惯，先抓三个维度：

包长统计：均值、方差、最大值、最小值。IoT设备报文长度通常很稳定，异常时包长会剧烈波动。
包速率：每秒包数（pps）、每秒字节数（bps）。DDoS攻击时，速率会飙升几个数量级。
流持续时间：正常TCP会话几秒到几分钟，异常流可能持续几微秒（扫描）或几天（C2通信）。

核心经验：我在项目中遇到过，某智能门锁正常流量平均包长只有64字节，攻击流量平均包长飙到1200字节。光这一个特征，就能干掉80%的异常。

举个例子，你抓到一个设备的流量，可以这样算：

# 伪代码示意
packet_lengths = [64, 64, 128, 64, 1500, 64, 64]
mean_len = mean(packet_lengths)      # 约278
std_len  = std(packet_lengths)       # 约540
max_len  = max(packet_lengths)       # 1500
min_len  = min(packet_lengths)       # 64

嗯，这里要注意：不要只看均值。攻击流量往往在方差上暴露得更明显。

4.2 时间序列特征——抓住“节奏感”

IoT设备有个特点：有规律。温度传感器每30秒上报一次，摄像头每5秒传一帧。这种节奏感，就是时间序列特征。

我常用的特征有：

包间隔时间（IAT）：相邻两个包的时间差。正常设备IAT很稳定，攻击时IAT会突然变小或变大。
周期性检测：用自相关函数或FFT，看流量有没有固定周期。没有周期的设备突然变周期了，或者有周期的设备突然没周期了，都是危险信号。
趋势与突变：用移动平均看长期趋势，用差分看短期突变。

避坑指南：我曾经在项目中直接用原始时间戳做特征，结果模型学到的全是时钟漂移。后来改成“相对时间差”，效果立竿见影。记住：绝对时间不重要，相对时间才重要。

为什么会这样？因为攻击者可以伪造时间戳，但伪造不了设备内部的发包节奏。你想想看，一个Mirai僵尸网络感染的摄像头，它发攻击包时，间隔时间几乎是均匀的——这跟正常设备完全不一样。

4.3 协议特征——读懂“规矩”

每种协议都有自己的“规矩”。HTTP有请求方法、状态码、User-Agent。MQTT有主题、QoS等级、保留标志。CoAP有方法码、消息ID、Token。

异常流量，往往在协议层面“不守规矩”。

协议	正常特征	异常特征
MQTT	CONNECT后跟PUBLISH/SUBSCRIBE	大量CONNACK无对应CONNECT
CoAP	GET/PUT方法，Token唯一	Token重复，非GET/PUT方法
HTTP	GET/POST，状态码200/404	大量POST到不存在的URI
DNS	查询A/AAAA记录	查询TXT记录，域名随机字符串

我建议，协议特征至少提取这几项：

协议类型分布：TCP/UDP/ICMP的比例。正常设备可能只用TCP，突然出现大量UDP，可疑。
端口分布：源端口、目的端口的熵值。扫描攻击的端口熵值极高。
标志位组合：TCP的SYN、ACK、FIN、RST。SYN Flood就是大量SYN包没有ACK。
协议字段异常值：比如MQTT的Client ID长度、HTTP的User-Agent字符串。

注意：不要只提取协议头部的固定字段。攻击者会伪造这些字段。要提取的是“协议行为特征”——比如“一个TCP连接中，客户端发了几个包？服务端回了几个包？”这种交互模式，很难伪造。

4.4 载荷特征——看“内容”

载荷特征，就是看报文里装了什么。这是最细粒度的特征，也是计算量最大的。

我常用的方法：

字节分布直方图：正常文本载荷的字节分布集中在可打印字符，二进制载荷集中在0x00-0xFF均匀分布。恶意载荷往往有特定模式。
熵值：加密流量的熵值接近8.0，明文流量的熵值较低。如果一个明文协议突然出现高熵载荷，大概率是加密隧道或混淆后的恶意代码。
n-gram特征：把载荷切成连续的n个字节，统计出现频率。比如“0xEB 0x90 0x90”这种shellcode特征，一抓一个准。
字符串特征：提取可打印字符串，看有没有“/bin/sh”、“cmd.exe”、“powershell”等关键词。

举个例子，检测Mirai僵尸网络：

# 载荷中常见的Mirai特征字符串
mirai_signatures = [
    "POST /login",
    "GET /shell",
    "Mirai",
    "0xEB 0x90 0x90"  # shellcode NOP sled
]

# 如果载荷包含这些字符串，直接标记为恶意
if any(sig in payload for sig in mirai_signatures):
    alert("Mirai僵尸网络特征匹配")

不过说实话，载荷特征有个大坑：计算开销。你想想看，每秒处理10万条报文，每条报文都要做n-gram分析，CPU直接拉满。我建议：先做粗筛，再做细查。用统计特征和协议特征把可疑流量筛出来，再对可疑流量做载荷分析。

4.5 知识体系总览

下面这张图，把四类特征的关系和流程画清楚了：

从图上你能看到，四类特征不是孤立的。我建议的流程是：先做统计特征粗筛，再做时间序列分析找节奏异常，然后用协议特征定位具体问题，最后用载荷特征确认攻击类型。这样一层层过滤，既快又准。

好了，特征工程这块就讲到这里。记住一句话：好的特征，比好的模型更重要。你花一周时间做特征工程，模型训练可能只需要一小时。反过来，特征没做好，模型调参调一个月也白搭。