📚 课程目录第4章联邦学习数学基础

4、联邦学习数学基础：优化目标、损失函数、梯度下降、模型聚合（FedAvg、FedProx等）的数学表达与推导

联邦学习的数学基础是理解其算法设计与系统实现的关键。与集中式机器学习不同，联邦学习面对的是数据非独立同分布（Non-IID）、通信受限和隐私约束三大挑战。本章从优化目标出发，逐步推导损失函数、梯度下降在联邦场景下的变体，并深入拆解FedAvg与FedProx的数学原理与聚合公式，帮助学员建立从“单机优化”到“分布式协作优化”的完整数学图景。

4.1 联邦学习的全局优化目标与损失函数设计

联邦学习的数学起点是定义一个全局损失函数，该函数需要同时反映所有参与方数据的分布特征。假设共有 K 个客户端，第 k 个客户端拥有 nₖ 条样本，总样本数 N = Σ nₖ。全局优化目标可写为：

min F(w) = Σ (nₖ/N) · fₖ(w)
其中 fₖ(w) = (1/nₖ) · Σ ℓ(xᵢ, yᵢ; w)

这里的 ℓ(·) 是损失函数（如交叉熵、均方误差），fₖ(w) 是第 k 个客户端的本地经验风险。权重 nₖ/N 体现了“数据量越大，话语权越高”的原则，这与集中式训练中所有样本等权重的设定保持一致。

核心原理：联邦学习的优化目标本质上是一个加权平均的分布式经验风险最小化问题。与集中式不同，fₖ(w) 的数据分布可能差异巨大（Non-IID），导致 ∇fₖ(w) 方向不一致，这是联邦优化收敛困难的根本原因。

4.2 梯度下降在联邦场景下的变体：本地SGD与通信轮次

在集中式训练中，梯度下降每次迭代都使用全部数据计算梯度。联邦学习受限于通信带宽和隐私约束，采用“本地多步更新 + 周期性聚合”的策略。具体流程如下：

初始化：服务器初始化模型参数 w₀，广播给所有客户端。
客户端选择：每轮随机选择 K 个客户端参与训练（通常 K << 总客户端数）。
本地更新：每个被选中的客户端在本地数据上执行 E 轮SGD（或小批量SGD），更新规则为：

wₖ ← wₜ - η · ∇fₖ(wₜ)   （重复 E 次）

上传与聚合：客户端将更新后的 wₖ 上传至服务器，服务器按数据量加权平均：

wₜ₊₁ ← Σ (nₖ/N) · wₖ

对比维度	集中式SGD	联邦本地SGD
数据可见性	全部数据可见	仅本地数据可见
更新频率	每步全局同步	本地多步后异步聚合
梯度方向	全局真实梯度	本地近似梯度（有偏）
通信开销	每步通信	每E轮通信一次
收敛保证	凸函数可证明收敛	需假设数据分布相近

4.3 FedAvg算法：数学推导与实现细节

FedAvg（联邦平均）是联邦学习最经典的算法。其数学推导的关键在于理解：当本地更新步数 E=1 且所有客户端参与时，FedAvg等价于全局梯度下降。推导如下：

设 E=1，所有 K 个客户端参与：
wₜ₊₁ = Σ (nₖ/N) · (wₜ - η ∇fₖ(wₜ))
     = wₜ - η · Σ (nₖ/N) ∇fₖ(wₜ)
     = wₜ - η · ∇F(wₜ)   （因为 ∇F(w) = Σ (nₖ/N) ∇fₖ(w)）

当 E > 1 时，FedAvg不再等价于全局梯度下降，而是引入了“本地多步累积”的偏差。这种偏差在数据独立同分布（IID）时较小，但在Non-IID场景下会显著增大，甚至导致不收敛。

实战经验：在金融风控场景中，不同机构的客户群体差异极大（如银行与消费金融公司的逾期率分布不同）。直接使用FedAvg时，建议将本地Epoch设为1~3，并配合学习率衰减，避免本地模型过拟合到本地分布。

4.4 FedProx算法：近端项约束与异构性处理

FedProx针对FedAvg在Non-IID下的不稳定性，在本地目标函数中引入近端项（Proximal Term）。其数学表达为：

本地目标：hₖ(w) = fₖ(w) + (μ/2) · ‖w - wₜ‖²
其中 μ > 0 为近端项系数

近端项 (μ/2)‖w - wₜ‖² 的作用是限制本地更新不要偏离全局模型太远。从优化角度看，这相当于在本地目标中加入了L2正则化，使得本地最优解 wₖ* 更接近全局模型 wₜ。FedProx的聚合公式与FedAvg相同，但本地更新过程变为：

wₖ ← wₜ - η · [∇fₖ(wₜ) + μ(wₖ - wₜ)]

算法	本地目标	适用场景	收敛性
FedAvg	fₖ(w)	IID或轻度Non-IID	凸函数可证明
FedProx	fₖ(w) + (μ/2)‖w-wₜ‖²	严重Non-IID、异构数据	μ>0时更稳定
FedNova	fₖ(w)（归一化更新）	本地迭代步数不一致	消除更新偏差

4.5 案例拆解：信贷风控模型中的FedAvg与FedProx对比

背景：某金融科技集团联合3家银行构建信贷违约预测模型。3家银行的数据分布差异显著：A银行以优质客户为主（逾期率2%），B银行为次级客户（逾期率8%），C银行为小微企业主（逾期率15%）。

初始现象：使用FedAvg训练逻辑回归模型，本地Epoch=5，通信轮次50轮。结果发现：全局模型在A银行测试集上AUC=0.82，但在C银行上仅0.65，且训练过程中损失函数震荡明显。

分析过程：

检查各客户端梯度方向：C银行的梯度方向与A银行几乎相反，导致聚合后模型“左右摇摆”。
计算本地更新幅度：C银行本地更新后的 ‖wₖ - wₜ‖ 是A银行的3.2倍，说明C银行严重偏离全局。

调优操作：

将FedAvg替换为FedProx，设置 μ=0.1，限制本地偏离。
降低本地Epoch至2，减少累积偏差。
采用动态学习率：前20轮 η=0.05，后30轮 η=0.01。

结果对比：

指标	FedAvg（E=5）	FedProx（μ=0.1, E=2）
A银行AUC	0.82	0.84
B银行AUC	0.74	0.78
C银行AUC	0.65	0.73
全局AUC	0.74	0.79
收敛轮次	未完全收敛	38轮收敛

复盘经验：FedProx通过近端项有效抑制了异构数据带来的模型发散，但 μ 值需要调参。过大的 μ 会导致本地更新过小，近似于“只聚合不学习”；过小的 μ 则退化为FedAvg。建议在金融场景中从 μ=0.01 开始网格搜索。

风险提示：联邦学习中的数学假设（如数据分布相近、客户端计算能力一致）在真实金融环境中往往不成立。务必在训练前进行数据分布诊断（如统计各客户端标签分布、特征均值/方差），并据此选择聚合算法。切勿盲目套用FedAvg。

4.6 常见误区与总结

误区1：认为FedAvg的加权平均是无偏的。实际上，当本地更新步数E>1且数据Non-IID时，聚合结果存在客户端漂移（Client Drift）偏差。
误区2：忽略学习率与本地Epoch的联动关系。较大的学习率配合较大的Epoch会加剧模型发散，建议遵循 η·E ≤ 1 的经验法则。
误区3：将FedProx的 μ 视为正则化系数。它本质上是控制本地更新信任度的超参数，与L2正则化作用不同。
误区4：在非凸模型（如深度学习）中直接套用凸优化收敛证明。联邦学习的非凸收敛分析更为复杂，需要结合Polyak-Łojasiewicz条件或经验验证。

总结：联邦学习的数学基础可以概括为“一个目标、两种更新、三类算法”。一个目标指加权平均的全局损失函数；两种更新指本地SGD与服务器聚合；三类算法包括FedAvg（基础）、FedProx（异构优化）和FedNova（归一化更新）。掌握这些数学表达，是设计高效、稳定、可解释的联邦金融模型的前提。在实际项目中，建议先进行小规模仿真实验验证算法收敛性，再部署到生产环境。