3. 优化理论基础：凸优化与非凸优化、梯度下降法、随机梯度下降法

在层级预测与稀疏调和权重学习中，优化算法是求解模型参数的核心引擎。本章从优化问题的几何性质出发，系统梳理凸优化与非凸优化的本质区别，并深入解析梯度下降法及其随机变体的数学原理、收敛特性与适用场景。

3.1 凸优化与非凸优化

优化问题的“凸性”决定了求解的难易程度与全局最优的保证。凸优化问题具有唯一的全局最优解，而非凸优化则面临多个局部极值点的挑战。

3.2 梯度下降法（Gradient Descent）

梯度下降法是一阶迭代优化算法，核心思想是沿目标函数梯度的负方向更新参数，使损失函数值逐步下降。

3.2.1 算法流程

1. 初始化： 设定参数初始值 θ₀ 和学习率 η。
2. 计算梯度： 在当前参数点计算损失函数对所有参数的偏导数 ∇J(θₜ)。
3. 参数更新： θₜ₊₁ = θₜ − η · ∇J(θₜ)。
4. 收敛判断： 若梯度范数 ||∇J(θₜ)|| 小于阈值 ε 或达到最大迭代次数，停止。

3.2.2 学习率的影响

3.3 随机梯度下降法（Stochastic Gradient Descent, SGD）

SGD 每次迭代仅使用一个随机样本（或一个小批量样本）计算梯度，大幅降低单次计算成本，并引入随机性帮助逃离局部极小点。

3.3.1 核心区别

3.3.2 SGD 的收敛性分析

SGD 的更新公式为：θₜ₊₁ = θₜ − ηₜ · gₜ，其中 gₜ 是第 t 个样本的梯度，满足 E[gₜ] = ∇J(θₜ)。

• 期望梯度方向正确： 虽然单步有噪声，但平均方向指向真实梯度。
• 学习率衰减： 为保证收敛，通常令 ηₜ = η₀ / (1 + α·t)，使步长随时间减小。
• 收敛条件： 当 ∑ηₜ = ∞ 且 ∑ηₜ² < ∞ 时，SGD 几乎必然收敛到局部最优或全局最优（凸情形）。

3.4 优化算法在层级预测中的选择策略

针对层级预测数据稀疏与调和权重学习的实际需求，推荐以下优化策略：

• 凸子问题（如 L1/L2 正则化层）： 使用批量梯度下降或坐标下降法，保证全局最优。
• 非凸深度层级： 使用 SGD 或 Adam 优化器，配合学习率衰减和动量项。
• 稀疏数据场景： 采用稀疏梯度更新（只更新非零特征对应的参数），减少无效计算。
• 调和权重学习： 使用交替优化策略，固定权重优化层级参数，再固定层级参数优化权重。

# 伪代码：层级预测中的 SGD 训练循环
for epoch in range(max_epochs):
    for batch in data_loader:
        # 前向传播：计算层级预测输出
        pred = hierarchical_forward(batch.features, theta)
        # 计算损失（含调和权重正则）
        loss = compute_loss(pred, batch.labels, lambda_reg)
        # 反向传播：计算梯度
        grads = backward(loss, theta)
        # 稀疏更新：只更新非零梯度对应的参数
        for param, grad in zip(theta, grads):
            if grad != 0:
                param -= learning_rate * grad
    # 学习率衰减
    learning_rate *= 0.95
    # 验证集监控
    if val_loss_stopped_improving(patience=10):
        break