3. 非线性约束处理：梯度下降与约束投影、拉格朗日乘子法、KKT条件、罚函数法

约束平衡这件事，在线性场景下还算温柔。一旦约束变成非线性的——比如 x² + y² ≤ 1 或者 sin(x) ≥ 0.5——事情就变得棘手了。我早年做结构优化时，第一次遇到非线性约束，直接拿线性近似去套，结果迭代了五十步还在原地打转。后来才明白，非线性约束需要专门的武器库。

这一章，我们就来拆解四类核心方法。它们各有脾气，也各有绝活。

3.1 梯度下降 + 约束投影：最直观的硬约束处理

梯度下降本身不关心约束。它只管沿着负梯度方向走。但我们可以给它加一道「护栏」——每走一步，就把越界的点拉回可行域。这就是约束投影的核心思路。

数学上，投影算子定义为：

P_C(x) = argmin_{y ∈ C} ||y - x||²

说白了，就是在可行集 C 里找一个离当前点最近的点。对于简单的约束（比如球面、盒子），投影有闭式解。对于复杂约束，投影本身就是一个优化子问题。

我曾在某个资源分配项目里用过这个方法。约束是 ∑x_i = 1, x_i ≥ 0，投影就是简单的截断加归一化。每次梯度更新后，把负值裁成 0，再整体除以和。简单粗暴，但收敛稳定。

算法流程

1. 初始化 x⁰ ∈ C
2. 对 k = 0, 1, 2, ... 重复：
   • 计算梯度 ∇f(xᵏ)
   • 梯度更新：y = xᵏ - α ∇f(xᵏ)
   • 投影：xᵏ⁺¹ = P_C(y)
3. 直到满足收敛条件

这个方法的好处是简单、可解释。坏处是——投影本身可能很贵，而且梯度方向被投影「掰弯」后，收敛速度会打折扣。

3.2 拉格朗日乘子法：把约束「买」进目标

投影法是把约束硬塞进迭代过程。拉格朗日乘子法换了个思路——把约束条件「买」进目标函数里，变成无约束问题。

对于等式约束 h(x) = 0，拉格朗日函数长这样：

L(x, λ) = f(x) + λ h(x)

其中 λ 就是拉格朗日乘子。最优解满足：

∇ₓ L(x*, λ*) = 0
h(x*) = 0

我刚开始学的时候，总觉得 λ 是个抽象的东西。后来做约束优化时，发现 λ 其实有物理意义——它表示约束的「边际代价」。比如在资源分配中，λ 就是资源的影子价格。

等式约束 vs 不等式约束

约束类型	拉格朗日函数	最优性条件
等式 h(x)=0	L = f + λh	∇L=0, h=0
不等式 g(x)≤0	L = f + μg	∇L=0, μg=0, μ≥0

不等式约束多了一个互补松弛条件 μ g(x) = 0。意思是：要么约束起作用（g=0），要么乘子为 0（μ=0）。这个条件在工程中很直观——如果约束没触碰到边界，那它就不该影响优化方向。

3.3 KKT条件：最优解的必要条件

拉格朗日乘子法只处理了等式约束。对于既有等式又有不等式的一般非线性约束问题，我们需要 KKT 条件。

考虑标准形式：

min f(x)
s.t. g_i(x) ≤ 0, i=1,...,m
     h_j(x) = 0, j=1,...,p

KKT 条件包含四部分：

1. 稳定性条件：∇f(x*) + ∑μ_i ∇g_i(x*) + ∑λ_j ∇h_j(x*) = 0
2. 原始可行：g_i(x*) ≤ 0, h_j(x*) = 0
3. 对偶可行：μ_i ≥ 0
4. 互补松弛：μ_i g_i(x*) = 0

我曾经在一个机械设计项目中，用 KKT 条件验证优化结果。模型跑完后，我手动检查了每个约束的乘子——发现有一个约束的 μ 是负的。这说明优化器没收敛到真正的局部最优。后来调整了初始点，才得到合理结果。

KKT 条件的几何直觉

你想想看，KKT 条件本质上在说什么？它在说：在最优解处，目标函数的负梯度必须落在所有起作用约束的梯度张成的锥里。换句话说，你没法再沿着任何可行方向下降目标函数了。

这个几何解释，我在做路径规划时用过。约束是障碍物边界，KKT 条件帮我们判断当前路径是否已经「贴边」了。

3.4 罚函数法：用惩罚代替约束

罚函数法的思路更直接——约束不满足？那就罚它。把约束违反程度以惩罚项的形式加入目标函数。

常见形式：

min f(x) + ρ * P(x)

其中 P(x) 是约束违反度量，ρ 是惩罚系数。

两种主流罚函数

类型	惩罚项形式	特点
外点罚函数	P(x) = ∑max(0, g_i(x))² + ∑h_j(x)²	从不可行域逼近，ρ→∞
内点罚函数	P(x) = -∑log(-g_i(x))	从可行域内部逼近，ρ→0

外点罚函数的好处是初始点可以任意选。坏处是 ρ 太大时，问题会变得病态——海森矩阵条件数爆炸。我遇到过这种情况：ρ 从 10 调到 1000，优化器直接发散。

内点罚函数则要求初始点在可行域内部。它用对数障碍函数把迭代点「推」离边界。这个方法在线性规划、二次规划中很成熟，但遇到非凸可行域时，容易卡在边界附近。

3.5 方法对比与选型指南

四种方法各有适用场景。我整理了一张对比表，方便你快速选型：

方法	约束类型	收敛速度	实现难度	典型场景
投影梯度法	简单凸集	中等	低	球面、盒子约束
拉格朗日乘子法	等式/不等式	快	中	资源分配、对偶问题
KKT 条件	通用	—	高	验证最优性、理论分析
罚函数法	通用	慢（ρ大时）	低	初始不可行、约束复杂

我个人习惯是：如果约束简单且凸，优先用投影梯度法。如果约束复杂但问题规模小，用拉格朗日乘子法。如果问题规模大且约束多，罚函数法配合递增序列更稳妥。KKT 条件则更多用于事后验证和理论推导。

3.6 知识体系总览

下面这张 SVG 图，把四种方法的关系和适用边界画清楚了：

这张图把四种方法的定位和关系梳理清楚了。投影梯度法和罚函数法偏工程实现，拉格朗日乘子法和 KKT 条件偏理论分析。实际项目中，我经常把罚函数法和拉格朗日乘子法结合使用——这就是增广拉格朗日法，下一章会细讲。