4. 线性模型：PCA与One-Class SVM的异常检测实战

大家好，我是老张。今天我们来聊聊线性模型在异常检测里的两个经典代表——PCA和One-Class SVM。说实话，这两个方法我用了快十年，踩过不少坑，也积累了一些心得。咱们直接进入正题。

4.1 PCA用于异常检测：降维背后的直觉

PCA（主成分分析）做异常检测，核心思想其实很简单：正常数据通常落在低维子空间里，而异常数据会偏离这个子空间。你想想看，如果一堆点都沿着某个方向分布，突然冒出一个点离这个方向很远，那它大概率有问题。

4.1.1 数学原理速览

假设我们有数据集 \(X \in \mathbb{R}^{n \times d}\)，PCA会找到前k个主成分方向。对于每个样本x：

1. 将x投影到前k个主成分上，得到低维表示 \(z = W_k^T x\)
2. 再重构回原始空间：\(\hat{x} = W_k z\)
3. 计算重构误差：\(e = \|x - \hat{x}\|_2\)

如果e超过某个阈值，就判定为异常。我在项目中遇到过一个问题：k的选择非常敏感。k太小，正常数据也重构不好；k太大，异常数据也能被重构得很好。后面我会讲怎么调这个参数。

4.1.2 代码实现：从零开始写PCA异常检测

下面是我在实际项目中常用的实现方式。注意，这里我用了特征值分解而不是SVD，因为数据量不大时更直观。

import numpy as np
from sklearn.preprocessing import StandardScaler

class PCAAnomalyDetector:
    def __init__(self, n_components=0.95, threshold=None):
        self.n_components = n_components  # 可以是整数或方差占比
        self.threshold = threshold
        self.scaler = StandardScaler()
        
    def fit(self, X):
        # 标准化
        X_scaled = self.scaler.fit_transform(X)
        
        # 计算协方差矩阵
        cov = np.cov(X_scaled.T)
        
        # 特征值分解
        eigenvalues, eigenvectors = np.linalg.eigh(cov)
        
        # 按特征值降序排列
        idx = np.argsort(eigenvalues)[::-1]
        eigenvalues = eigenvalues[idx]
        eigenvectors = eigenvectors[:, idx]
        
        # 确定主成分数量
        if isinstance(self.n_components, float):
            cumsum = np.cumsum(eigenvalues) / np.sum(eigenvalues)
            self.n_components = np.argmax(cumsum >= self.n_components) + 1
            
        self.components_ = eigenvectors[:, :self.n_components]
        self.mean_ = np.mean(X_scaled, axis=0)
        
        # 计算所有训练样本的重构误差
        X_proj = X_scaled @ self.components_
        X_recon = X_proj @ self.components_.T
        errors = np.sum((X_scaled - X_recon) ** 2, axis=1)
        
        # 设置阈值为95分位数
        if self.threshold is None:
            self.threshold = np.percentile(errors, 95)
            
        return self
    
    def predict(self, X):
        X_scaled = self.scaler.transform(X)
        X_proj = X_scaled @ self.components_
        X_recon = X_proj @ self.components_.T
        errors = np.sum((X_scaled - X_recon) ** 2, axis=1)
        return errors > self.threshold

4.2 One-Class SVM：用超平面圈住正常数据

One-Class SVM是另一种思路。它不像PCA那样做降维，而是在特征空间中找一个超平面，把大部分正常数据圈在里面。说白了，就是画个边界，边界外的就是异常。

4.2.1 原理与参数

One-Class SVM的核心是找到一个决策边界，使得正常数据点尽可能在边界内，同时边界尽可能紧凑。它有两个关键参数：

参数	含义	典型值	我的建议
nu	训练数据中异常点的比例上限	0.01 ~ 0.1	从0.05开始调，看效果再微调
kernel	核函数类型	rbf, linear, poly	默认用rbf，除非数据线性可分
gamma	RBF核的宽度参数	1/n_features 或 auto	用网格搜索找最优值

4.2.2 代码示例：用sklearn实现One-Class SVM

from sklearn.svm import OneClassSVM
from sklearn.model_selection import GridSearchCV
import numpy as np

# 生成示例数据
np.random.seed(42)
X_normal = np.random.randn(200, 2) * 0.5
X_anomaly = np.random.uniform(low=-3, high=3, size=(20, 2))
X_train = np.vstack([X_normal, X_anomaly])

# 网格搜索调参
param_grid = {
    'nu': [0.01, 0.05, 0.1, 0.2],
    'gamma': ['scale', 'auto', 0.1, 0.5, 1.0]
}

# 注意：OneClassSVM没有标准的score方法，这里用自定义评分
# 实际项目中可以用验证集上的F1分数来评估
model = OneClassSVM(kernel='rbf')
# 这里简化处理，直接手动调参
best_nu = 0.05
best_gamma = 'scale'

model = OneClassSVM(kernel='rbf', nu=best_nu, gamma=best_gamma)
model.fit(X_train)

# 预测：-1为异常，1为正常
predictions = model.predict(X_train)
anomaly_mask = predictions == -1

print(f"检测到的异常点数量: {np.sum(anomaly_mask)}")
print(f"异常比例: {np.sum(anomaly_mask) / len(X_train):.2%}")

4.3 基于重构误差的异常判定：统一框架

不管是PCA还是One-Class SVM，其实都可以归结到一个统一的框架——重构误差。PCA是显式的重构，One-Class SVM是隐式的。我画了一张图来说明这个逻辑：

4.4 实战对比：什么时候用哪个？

我整理了一个对比表格，方便你快速决策：

维度	PCA + 重构误差	One-Class SVM
数据规模	适合中等规模（万级以下）	适合小规模（千级以下）
特征维度	高维数据效果好（降维优势）	中等维度（核函数计算成本高）
可解释性	强（能看到哪些特征贡献大）	弱（黑盒，难以解释）
调参难度	低（主要调k和阈值）	高（nu, gamma, kernel都要调）
非线性数据	需要核PCA扩展	天然支持（通过核函数）
训练速度	快（O(nd² + d³)）	慢（O(n²) ~ O(n³)）

4.5 避坑指南与调参心得

最后，分享几个我踩过的坑：

• 阈值设定不能一刀切：我见过有人直接用3σ作为阈值，结果在非高斯分布的数据上效果极差。建议用百分位数，比如95%或99%，或者用肘部法则看误差分布的拐点。
• One-Class SVM对异常比例敏感：nu参数设得太小，模型会把所有点都判为正常；设得太大，又会有大量误报。我习惯先用PCA跑一遍，看看数据里大概有多少异常，再用这个比例去设nu。
• 标准化要谨慎：PCA必须标准化，但One-Class SVM不一定。如果特征本身量纲有意义（比如温度、压力），标准化反而会丢失信息。我建议先不标准化跑一次，再标准化跑一次，对比效果。
• 重构误差的分布可能偏态：正常数据的重构误差通常集中在低值区域，但偶尔会有长尾。这时候用均值+3σ做阈值会误判。我更喜欢用箱线图的上下须来定阈值，或者直接用分位数。