2. 稀疏表示与L1范数基础

在参数恢复与特征选择问题中，我们常常面对一个尴尬的现实：观测数据维度有限，而待估参数却很多。此时若不加约束地求解，模型可以完美拟合训练数据，却把真实信号淹没在大量微小扰动里。稀疏表示正是针对这一困境的核心思想——它假设真正起作用的参数只占少数，其余分量应当为零或接近零。本节从稀疏性的数学定义出发，逐步建立L1范数的几何直觉，并通过与L0、L2的对比，说明为什么L1能够成为诱导稀疏的主力工具。

稀疏性的数学定义

设参数向量为 x = (x₁, x₂, …, xₙ)ᵀ ∈ ℝⁿ。最直接的稀疏度量是L0“范数”：

‖x‖₀ = #{ i : xᵢ ≠ 0 }

它统计非零元素的个数。若 ‖x‖₀ = k ≪ n，则称 x 是 k-稀疏的。严格来说L0并不满足范数的齐次性与三角不等式，只是一个计数函数，但在稀疏建模语境中习惯沿用这一记号。工程上还有“近似稀疏”的说法：允许大量分量取极小值而非严格为零，此时常用阈值 ε 定义有效支撑集 S_ε = { i : |xᵢ| > ε }，并以 |S_ε| 衡量稀疏程度。这一区分很重要，因为数值优化得到的解往往不是精确零，而是接近零的小量。

稀疏表示问题通常写成带约束的优化形式：在满足观测方程 y = Ax（或允许残差 ‖y − Ax‖₂ ≤ σ）的前提下，使 ‖x‖₀ 尽可能小。这里 A 是 m×n 的观测矩阵，y 是 m 维观测向量。当 m < n 时方程欠定，解不唯一，稀疏性约束恰好提供了挑选唯一解的原则。

L1范数的定义与几何性质

L1范数定义为各分量绝对值之和：

‖x‖₁ = Σᵢ |xᵢ|

它是凸函数，且在除坐标轴以外的区域处处可微。L1最关键的几何性质体现在等值面形状上：在二维平面中，‖x‖₁ = c 的图形是一个旋转45°的正方形（菱形），四个顶点恰好落在坐标轴上；在三维中则是正八面体，顶点位于各坐标轴。相比之下，L2范数 ‖x‖₂ = (Σxᵢ²)^½ 的等值面是圆或球面，处处光滑、没有尖角。

这一形状差异直接决定了稀疏性。考虑带约束的优化：在 ‖x‖₁ ≤ t 的菱形区域内寻找使残差 ‖y − Ax‖₂ 最小的点。残差的等值线是以最小二乘解为中心的椭圆族。当椭圆从外部逐渐扩张、首次与菱形接触时，接触点极大概率落在菱形的顶点或棱上——而这些位置的部分坐标恰好为零。L2的球形约束则没有尖角，切点一般位于光滑曲面上，各分量同时非零。这就是“L1诱导稀疏、L2只做收缩”的几何根源。

L0、L1、L2的对比

三者在优化性质上差异显著。L0计数非零元，能最精确地表达稀疏目标，但它是非凸、不连续的组合优化问题，n 个分量共有 2ⁿ 种支撑集组合，规模稍大即不可穷举，通常只能借助贪心匹配追踪或分支定界近似求解。L2是严格凸且光滑的，有闭式解（岭回归），计算最省力，但它对每个分量施加同等收缩，只会把系数整体压小，不会产生精确零，因此不具备变量选择能力。L1恰好处于两者之间：它是L0在单位球约束下最紧的凸松弛，既保留了“把系数推向零”的稀疏倾向，又因凸性而可以转化为线性规划或近端梯度类算法高效求解。

稀疏正则化的直观解释

把L1作为惩罚项加入目标函数，得到LASSO形式：

minₓ  (1/2)‖y − Ax‖₂² + λ‖x‖₁

其中 λ ≥ 0 控制稀疏强度。从近端算子角度看，L1惩罚对应的解具有软阈值结构：对最小二乘方向上的分量 zᵢ，更新为 xᵢ = sign(zᵢ)·max(|zᵢ| − λ, 0)。这意味着绝对值不超过 λ 的分量被直接置零，超过的部分则整体向零平移 λ。λ 越大，被置零的分量越多，模型越稀疏；λ 趋近于零时退化为普通最小二乘。实际使用中常通过交叉验证在一组对数间隔的候选值（如 10⁻³ 到 10¹）上选择 λ，观察验证误差曲线的最低点，同时记录非零系数个数随 λ 的变化路径。

从贝叶斯视角看，L1惩罚等价于对参数施加拉普拉斯先验 p(xᵢ) ∝ exp(−|xᵢ|/b)，该分布在零点处尖锐、尾部厚重，比高斯先验更倾向于把参数压到零附近。这也解释了为什么L1适合“少数大系数 + 多数零”的场景，而L2对应的高斯先验更适合“所有系数都较小但普遍非零”的场景。