第2章 边界确认算法选型：Lipschitz常数估计、对抗攻击检测、区间传播

在模型边界确认工程中，三种核心算法分别从不同维度衡量模型对输入扰动的鲁棒性。Lipschitz常数估计侧重于函数平滑度上界，对抗攻击检测关注局部最劣扰动下的输出变化，区间传播则通过符号/区间运算直接计算输出范围。三者在复杂度、精度、适用场景上呈互补关系。

2.1 Lipschitz常数估计

原理

Lipschitz常数 L 满足：对任意输入 x₁、x₂，有 ||f(x₁) - f(x₂)|| ≤ L·||x₁ - x₂||。在全连接网络中，L 的上界等于每层权重矩阵谱范数的乘积。估计方法包括幂迭代法、随机估计、以及基于自动微分的精确计算。

实现流程

1. 加载模型，逐层提取权重矩阵（Conv2d → 展开为2D矩阵）。
2. 对每层权重执行幂迭代：初始化向量 v，迭代 v = W^T·W·v / ||W^T·W·v||，收敛后得到最大奇异值近似值。
3. 各层谱范数连乘得到全局 Lipschitz 上界。

代码示例

def lipschitz_upper_bound(model, power_iter_iters=100):
    bound = 1.0
    for layer in model.modules():
        if isinstance(layer, (nn.Linear, nn.Conv2d)):
            weight = layer.weight.data
            # 对卷积层展平
            if layer.__class__.__name__ == 'Conv2d':
                w = weight.view(weight.size(0), -1)
            else:
                w = weight
            u = torch.randn(w.size(1), 1)
            for _ in range(power_iter_iters):
                v = w.T @ (w @ u)
                v = v / torch.norm(v)
                u = w @ (w.T @ v)
                u = u / torch.norm(u)
            sigma = torch.norm(w @ u) / torch.norm(v)
            bound *= sigma.item()
    return bound

调试与常见错误

• 错误：幂迭代未收敛导致 L 偏小 → 增加迭代次数（典型值 100~200）。
• 错误：忽略激活函数（如 ReLU 缩放因子 √2） → 应手动乘以激活函数的 Lipschitz 常数（ReLU 为1，tanh 为1）。
• 性能优化：对卷积层使用分块 SVD 或随机 SVD 替代幂迭代可减少计算量。

2.2 对抗攻击检测

原理

通过快速梯度符号法（FGSM）或投影梯度下降（PGD）生成对抗样本，计算样本在对抗前后输出分布差异（如 KL 散度、softmax 熵变化）。若差异超过阈值，则判定模型对该样本边界脆弱。

实现流程

1. 选取攻击方法：推荐 PGD（迭代步长0.01，扰动半径 ε=0.1，迭代10次）。
2. 对每个输入 x 生成对抗样本 x_adv = x + δ，其中 δ 为满足 ||δ||∞ ≤ ε 的对抗扰动。
3. 分别计算 f(x) 和 f(x_adv) 的 softmax 输出，衡量最大概率差值。若差 > 0.3，标记为危险样本。

配置示例（YAML风格）

attack:
  method: pgd
  epsilon: 0.1
  step_size: 0.01
  iterations: 10
  norm: inf
detection:
  metric: prob_diff
  threshold: 0.3
  batch_size: 64

调试与常见错误

• 错误：攻击扰动过大导致样本质量下降 → 适当降低 epsilon 或使用早停。
• 错误：阈值设置过于宽松导致大量漏检 → 在验证集上通过 ROC 曲线确定最佳阈值。
• 性能优化：多个样本可并行攻击，注意梯度图显存 – 使用 no_grad 块降低开销。

2.3 区间传播

原理

将输入 x 替换为区间 [x_low, x_high]，逐层用区间算术（Interval Arithmetic）计算输出边界。对于 ReLU 激活，需根据区间正负分段处理：若区间全负 → 输出0；全正 → 输出自身；跨零 → 输出[0, max(上界)]。

实现流程

1. 定义区间类，重载加减乘以及激活函数。
2. 将输入张量转换为区间张量（下界、上界各一个张量）。
3. 逐层前向传播时调用区间运算，最终得到输出区间的上下界。

核心代码片段（区间类核心）

class Interval:
    def __init__(self, low, high):
        self.low = low
        self.high = high
    def __add__(self, other):
        return Interval(self.low + other.low, self.high + other.high)
    def __mul__(self, other):
        # 考虑符号：min/max over 四种组合
        candidates = [self.low*other.low, self.low*other.high,
                      self.high*other.low, self.high*other.high]
        return Interval(min(candidates), max(candidates))
    def relu(self):
        return Interval(torch.clamp(self.low, min=0),
                        torch.clamp(self.high, min=0))

调试与常见错误

• 错误：区间传播在深层网络中边界急速扩张（过估计） → 引入符号抽象（Crown/DeepPoly）压缩边界。
• 错误：卷积层未正确处理 padding 导致区间错位 → 使用原始 padding 模式+区间填充。
• 性能优化：采用并行化区间运算（向量化），避免逐元素循环。在 GPU 上可保持与原始张量相同的内存布局。

2.4 算法选型与工程职责划分

下表总结了三种算法在不同工程阶段中的职责分工，便于团队协作。