3. L1正则化优化问题建立

要理解L1稀疏正则化，最自然的起点是线性模型。设输入特征矩阵为 X ∈ R^(n×p)，其中 n 是样本数、p 是特征维数，响应向量为 y ∈ R^n，待估参数为 w ∈ R^p。普通最小二乘（OLS）只关心拟合误差，其目标是最小化残差平方和：

min_w  ||y - Xw||₂²

当 p 较大、特征之间高度相关，或 n 与 p 接近时，OLS 解会变得不稳定：参数方差大、对训练数据微小扰动敏感，甚至出现多个近似等价的解。此时仅靠损失项无法表达“我们更偏好简单模型”这一先验。正则化就是把这种偏好写进目标函数的手段。

损失项与正则项的分工

Lasso 型目标函数由两部分相加构成：

J(w) = ||y - Xw||₂² + λ·||w||₁
     = Σᵢ (yᵢ - xᵢᵀw)² + λ·Σⱼ |wⱼ|

第一项是损失项（数据拟合项），衡量模型在训练集上的预测误差，它把解拉向“更好地解释数据”的方向；第二项是正则项（惩罚项），用参数的 L1 范数衡量模型复杂度，它把解拉向“参数更小、更稀疏”的方向。超参数 λ ≥ 0 控制两者的相对权重：λ 越大，惩罚越强，被压缩到零的系数越多；λ = 0 时退化为 OLS；λ → ∞ 时所有权重趋于零。

这里有一个关键点值得强调：L1 惩罚 Σ|wⱼ| 对每个系数是分段线性的，在 wⱼ = 0 处不可导，但正是这种“尖角”结构使得最优解可以精确落在坐标轴上，从而产生稀疏解——部分系数恰好为零。这与 L2（岭回归）的圆滑惩罚不同，后者只会把系数压小而不压到零。稀疏性带来的直接好处是特征选择：模型自动指出哪些特征对预测贡献可忽略。

约束形式与惩罚形式的等价性

Lasso 还有另一种常见写法——约束形式：

min_w  ||y - Xw||₂²
s.t.   ||w||₁ ≤ t

这两种形式在数学上是等价的：对每一个惩罚参数 λ，都存在一个对应的约束半径 t，使得两者的最优解相同（在凸优化框架下可由拉格朗日乘子与 KKT 条件说明）。直观理解是：惩罚形式是在“拟合误差 + 复杂度代价”之间做加权折中；约束形式则是在“复杂度不超过预算 t”的前提下尽量拟合。前者更便于写成无约束优化、直接交给坐标下降或近端梯度算法；后者更便于画出示意图——把 L1 球（菱形）与残差平方和的等高线画在同一张图上，最优解往往出现在菱形顶点处，而顶点恰好落在坐标轴上，这正是稀疏性的几何来源。

一个可手算的教学示例

为便于观察 λ 的作用，考虑一个极简的示例（以下数值为教学假设，非实测）：设只有一个特征，且已中心化，XᵀX = 1，Xᵀy = 0.8。Lasso 目标为 (w - 0.8)² + λ|w|（忽略常数项）。对 w > 0 求导并令其为零，得 2(w - 0.8) + λ = 0，即 w = 0.8 - λ/2。当 λ = 0.4 时 w = 0.6；当 λ = 1.6 时 w = 0；当 λ > 1.6 时解被截断在 0。这个软阈值结果清楚展示了 L1 的“压缩 + 截断”双重效应：小系数被直接归零，大系数被整体向零平移。

在多特征情形下，坐标下降法每次固定其他系数、只优化一个 wⱼ，其更新正是上述软阈值公式：wⱼ ← S(ρⱼ, λ/2) / zⱼ，其中 ρⱼ 是第 j 个特征与当前残差的内积，zⱼ 是该特征平方和，S(a, γ) = sign(a)·max(|a| - γ, 0)。这解释了为什么 Lasso 的实现天然产生稀疏解，也说明 λ 的选择直接决定哪些特征被保留。

建模时需要注意的实践细节

第一，特征标准化。L1 惩罚对所有系数一视同仁，若特征量纲差异大，惩罚强度会失真。通常先对每列做中心化与缩放（如除以标准差），再拟合，最后把系数换算回原始尺度。第二，是否拟合截距。截距一般不被惩罚，否则模型会被强行拉偏；实现中常先中心化 y 与 X，再对无截距问题求解。第三，λ 的选取。常用交叉验证在正则化路径上选择使验证误差最小的 λ；也可用信息准则或固定稀疏度目标反推 λ。第四，求解器选择。p 不大时坐标下降简单可靠；大规模问题可用近端梯度（ISTA/FISTA）或 LARS 路径算法。

把上述内容串起来，Lasso 的建模流程可以概括为：明确线性模型与损失函数 → 加入 L1 惩罚构造目标函数 → 依据数据规模与稀疏先验选择惩罚或约束形式 → 标准化特征、设定 λ 网格 → 用坐标下降等算法求解路径 → 通过交叉验证确定 λ 并检查非零系数的稳定性。理解损失项与正则项各自“拉”的方向，以及两种形式的等价关系，是后续推导软阈值解、分析稀疏性和做特征选择的基础。