📚 课程目录第3章对抗性攻击与鲁棒性评估

3. 对抗性攻击与鲁棒性评估

聊到AI模型安全，对抗性攻击是个绕不开的话题。我最早接触这个领域是在一次金融风控模型的审计中——明明模型在测试集上准确率99%，结果对方换了个角度拍身份证照片，模型就把“1”认成了“7”。嗯，这就是典型的对抗性样本在作怪。

说白了，对抗性攻击就是给正常样本加一点点人眼察觉不到的噪声，让模型输出完全错误的结果。你想想看，自动驾驶把停止牌认成限速牌，人脸识别把张三认成李四，这后果有多严重？

核心认知：对抗性攻击不是模型“笨”，而是模型在高维空间中的决策边界过于线性化。深度学习模型本质上是在学习一个高度非线性的映射函数，但这个函数在局部区域往往表现出线性特征——攻击者恰恰利用了这一点。

3.1 FGSM攻击：最简单的对抗性攻击

FGSM（Fast Gradient Sign Method）是2014年由Goodfellow等人提出的。它的思路极其简单：既然模型是通过梯度下降来最小化损失函数，那攻击者就沿着梯度上升的方向修改输入，让损失函数最大化。

公式长这样：

x_adv = x + ε · sign(∇_x J(θ, x, y))

其中：

x 是原始输入
ε 是扰动幅度（通常0.01~0.3）
sign(∇_x J) 是损失函数对输入的梯度符号

我在项目中遇到过一件事：有个团队用FGSM测试图像分类模型，ε设到0.1，结果攻击成功率直接飙到95%以上。他们当时很慌，觉得模型完全不可用。其实不是模型的问题——FGSM攻击成功率本身就很高，但它的攻击模式比较“粗糙”，容易被对抗训练防御住。

实战经验：FGSM适合做快速筛查。我建议在模型上线前先用FGSM跑一轮，如果ε=0.05时攻击成功率超过50%，说明模型鲁棒性存在明显短板，需要进一步做对抗训练。

3.2 PGD攻击：更强的迭代式攻击

FGSM只做一步梯度上升，效果虽然快但不够“精准”。PGD（Projected Gradient Descent）则是在FGSM基础上做了迭代优化——它把攻击过程拆成多步，每步走一小步，然后投影回允许的扰动范围内。

PGD的迭代公式：

x^{t+1} = Π_{x+S}(x^t + α · sign(∇_x J(θ, x^t, y)))

参数说明：

α 是每步步长（通常ε/4或ε/8）
Π 是投影操作，确保扰动不超出ε球
S 是允许的扰动空间（L∞球）
迭代次数通常设为7~20步

为什么PGD比FGSM强？我打个比方：FGSM像是一锤子买卖，方向对了但步子太大容易“跨过头”；PGD像小碎步逼近，每一步都校准方向，最终找到的对抗样本更“刁钻”。

避坑指南：我曾经在评估一个NLP模型时，直接用FGSM测试，结果攻击成功率只有30%。我差点以为模型很安全。后来换成PGD（迭代10步），攻击成功率直接跳到78%。记住：PGD是评估鲁棒性的“黄金标准”，FGSM只能做快速筛查，不能作为最终结论。

3.3 对抗训练：让模型学会“免疫”

对抗训练是目前最有效的防御手段之一。它的核心思想很简单：在训练过程中，把对抗样本混进训练集，让模型提前“见过”这些攻击模式。

对抗训练的损失函数：

L(θ) = α · L_clean(θ) + (1-α) · L_adv(θ)

其中：
L_clean = J(θ, x, y)          // 原始样本损失
L_adv   = J(θ, x_adv, y)      // 对抗样本损失
α 是平衡系数（通常0.5）

我在实际项目中总结了一套对抗训练的流程：

生成对抗样本：用PGD（迭代7步）对当前模型生成对抗样本
混合训练：每个batch中，50%原始样本 + 50%对抗样本
动态更新：每训练一个epoch，重新生成对抗样本（因为模型参数变了）
渐进式增强：ε从0.01逐步增加到0.1，避免模型训练不稳定

关键发现：对抗训练会降低模型在干净样本上的准确率（通常下降1~3%），但能显著提升对抗样本上的准确率（从10%提升到70%以上）。这是典型的“安全-精度”权衡，需要根据业务场景做取舍。

3.4 鲁棒性基准测试：怎么才算“够安全”？

光说“模型鲁棒性不错”是不够的，我们需要量化的评估标准。目前业界常用的鲁棒性基准测试包括：

测试维度	评估指标	推荐阈值	说明
白盒攻击	PGD攻击成功率	< 30%	攻击者知道模型全部参数
黑盒攻击	迁移攻击成功率	< 50%	攻击者只能查询模型输出
随机噪声	高斯噪声下准确率	> 80%	模拟自然扰动
边界测试	决策边界距离	> 0.5	样本到决策边界的最小距离

我个人习惯用“鲁棒性雷达图”来展示评估结果——把上述四个维度的得分归一化到0~100分，画成五边形（加上干净样本准确率），一眼就能看出模型的短板在哪里。

3.5 知识体系总览

下面这张图把本章的核心逻辑串起来了：

3.6 实战：用CleverHans跑一轮PGD攻击

光说不练假把式。下面是我常用的评估脚本骨架：

import torch
import torch.nn as nn
from cleverhans.torch.attacks.projected_gradient_descent import projected_gradient_descent

# 加载模型（假设是ResNet-18）
model = torch.load('my_model.pth')
model.eval()

# 准备测试数据
x_test = torch.randn(100, 3, 32, 32)  # 100张32x32图片
y_test = torch.randint(0, 10, (100,))

# PGD攻击参数
epsilon = 0.1       # 扰动幅度
alpha = 0.025       # 步长
iterations = 10     # 迭代次数

# 生成对抗样本
x_adv = projected_gradient_descent(
    model, x_test, epsilon, alpha, 
    iterations, np.inf
)

# 评估攻击成功率
with torch.no_grad():
    clean_preds = model(x_test).argmax(dim=1)
    adv_preds = model(x_adv).argmax(dim=1)
    
clean_acc = (clean_preds == y_test).float().mean()
adv_acc = (adv_preds == y_test).float().mean()
attack_success = 1 - adv_acc / clean_acc

print(f"干净样本准确率: {clean_acc:.2%}")
print(f"对抗样本准确率: {adv_acc:.2%}")
print(f"攻击成功率: {attack_success:.2%}")

实用技巧：我建议把ε从0.01到0.3分成10个等级，画一条“攻击成功率-ε曲线”。这条曲线能直观反映模型在不同攻击强度下的退化速度——曲线越平缓，模型鲁棒性越好。

3.7 合规审计视角：对抗性攻击意味着什么？

从合规审计的角度看，对抗性攻击不是单纯的学术问题。我参与过几次算法备案评审，监管机构现在明确要求：

鲁棒性声明：必须说明模型在对抗性攻击下的性能退化情况
防御措施：是否采用了对抗训练、输入净化等防御手段
持续监控：上线后需要定期重新评估鲁棒性（模型漂移可能导致防御失效）

合规红线：我曾经见过一个案例——某金融公司的人脸识别模型在备案时声称“鲁棒性良好”，但只用了FGSM做测试。后来被监管抽查时用PGD重新评估，攻击成功率从15%飙到72%。结果被认定为“虚假声明”，罚款+下架整改。记住：合规审计只认PGD级别的评估，不认FGSM级别的筛查。

嗯，对抗性攻击这块内容确实不少。但核心就三件事：理解攻击原理（FGSM/PGD）、掌握防御手段（对抗训练）、学会量化评估（鲁棒性基准测试）。把这三点串起来，你就能在实战中做出真正安全的AI模型。