2. 信号采集与预处理：数据源、清洗与特征提取

好，咱们进入正题。信号采集，说白了就是给防御系统装「眼睛」和「耳朵」。你连异常信号都看不到，拿什么去驱动动态防御？我见过不少团队，算法模型吹得天花乱坠，结果一上线发现数据质量一塌糊涂——嗯，那基本就是白干。

这一章，咱们就把数据源、清洗、标准化和特征提取这几个环节掰开揉碎。你把这些基础打牢了，后面的动态调度和策略生成才有根。

2.1 数据源：日志、流量、端点

异常信号的来源，我习惯分成三大类。你想想看，一个企业网络里，能产生数据的地方无非就这些：

• 日志数据：系统日志、应用日志、安全设备日志。这是最传统的数据源，记录的是「已经发生的事」。
• 流量数据：网络流量包、NetFlow、DNS 日志。它反映的是「正在发生的事」。
• 端点数据：进程行为、文件操作、注册表变更。它告诉你「终端上发生了什么」。

我在项目中遇到过一种情况：某客户只采集了防火墙日志，觉得够了。结果内网横向移动的攻击完全没发现。为什么？因为攻击流量走的是加密隧道，防火墙日志里只有「允许通过」四个字。所以，单一数据源是致命的。

下面这张图，是我自己梳理的数据源分类框架。你可以把它当成一个检查清单：

2.2 数据清洗与标准化

数据源选好了，接下来就是头疼的事——清洗。我跟你讲，原始数据有多脏，你可能想象不到。时间戳格式不统一、IP 地址有的带端口有的不带、字段名一会儿叫 src_ip 一会儿叫 sourceAddress……这些坑，我一个不落地踩过。

清洗的核心目标就三个：去噪、补缺、统一。

2.2.1 常见数据质量问题

问题类型	典型表现	影响
缺失值	日志中缺少源 IP、时间戳为空	无法关联事件，特征计算失败
重复数据	同一告警被重复上报多次	误报率飙升，浪费计算资源
格式不一致	时间格式混用 ISO 8601 和 Unix 时间戳	时间序列分析出错
异常值	流量大小突然出现 10GB 的毛刺	拉偏统计模型，导致误判

我曾经接手过一个项目，客户说他们的检测模型老是出问题。我一看数据，好家伙，同一个告警事件在 Elasticsearch 里存了 7 份，时间戳差了 3 秒。你说这模型能学对吗？

2.2.2 标准化流程

标准化，说白了就是给数据定个「普通话」标准。我个人的习惯是，先定义一个统一的数据模型，然后所有数据源都往这个模型上映射。

举个例子，一个标准的安全事件模型，至少包含这些字段：

{
  "event_id": "唯一标识",
  "timestamp": "ISO 8601 格式",
  "source_ip": "IPv4/IPv6",
  "dest_ip": "IPv4/IPv6",
  "source_port": 整数,
  "dest_port": 整数,
  "protocol": "TCP/UDP/ICMP",
  "event_type": "登录/文件操作/网络连接",
  "severity": "low/medium/high/critical",
  "raw_message": "原始日志内容"
}

你想想看，如果所有数据源都输出这个格式，后面的特征提取和模型训练会省多少事？

2.3 特征提取基础

数据洗干净了，标准化了，接下来就是特征提取。这一步，是把原始数据变成模型能「吃」的东西。

特征提取，我习惯分成三个层次：

1. 基础统计特征：均值、方差、最大值、最小值、计数。这些是最简单的，但往往最有效。
2. 时序特征：滑动窗口内的统计量、变化率、周期性。异常信号往往在时间维度上有特殊模式。
3. 关联特征：不同数据源之间的交叉统计、图结构特征。比如，一个 IP 在短时间内连接了多少个不同的目标 IP。

2.3.1 一个简单的特征提取示例

假设我们有一段时间窗口内的网络流量日志，我想提取一个「连接频率」特征：

# 伪代码示例
window_size = 60  # 60 秒窗口
for each source_ip in logs:
    connections = logs[source_ip][timestamp in last 60s]
    feature = len(connections)  # 连接次数
    # 还可以计算：不同目标 IP 数、不同端口数、平均包大小等

这个特征看起来简单，但在实际项目中，它能非常有效地检测出扫描行为和暴力破解。为什么？因为正常用户不会在 60 秒内连接 100 个不同的 IP。

2.3.2 特征提取的避坑指南

我曾经犯过一个错误：把所有能想到的特征都提取出来，扔给模型去选。结果特征维度上千，模型训练慢得要死，效果还不好。后来我学乖了——特征不是越多越好，而是越「对」越好。

这里给你几个实用的建议：

• 先理解攻击行为：你检测的是什么攻击？横向移动？数据外泄？不同的攻击，需要的特征完全不同。
• 从简单特征开始：先跑一轮基础统计特征，看看效果。很多时候，简单的计数特征就能抓到大部分异常。
• 注意特征的时间尺度：有些攻击持续几秒，有些持续几周。你的滑动窗口大小要匹配攻击的时间尺度。
• 做特征交叉验证：别只看单个特征，看看特征之间的相关性。高度相关的特征，保留一个就够了。