3、联邦学习（上）：横向联邦学习原理、架构与典型应用场景
好，咱们今天聊聊联邦学习。说实话，这个名词在隐私计算圈子里已经火了好几年了。但很多人一上来就被各种「聚合」、「加密」、「分布式」给绕晕了。
我个人习惯是，先别管那些花里胡哨的术语。咱们先搞清楚一件事：联邦学习到底要解决什么问题？
说白了，就是「数据不动，模型动」。数据在各自的机构里待着，模型参数出去转一圈，回来更新一下。嗯，就这么简单。
3.1 横向联邦学习：最经典的「兄弟联盟」
横向联邦学习，英文叫 Horizontal Federated Learning，简称 HFL。为什么叫「横向」？
你想想看，如果两家银行，一家在北京，一家在上海。它们的用户群体几乎不重叠，但业务特征非常相似——都是存贷款、信用卡、理财这些。这就是典型的数据横向切分：特征维度相同，但样本 ID 不同。
我在项目中遇到过一家城商行和一家农商行合作做风控模型。两家银行的数据特征几乎一模一样，但客户完全没有交集。这种场景，就是横向联邦学习的天然舞台。
3.2 架构拆解：三驾马车
横向联邦学习的架构，我习惯把它拆成三个角色。你记住这三个，后面所有变种都跑不出这个框架。
| 角色 | 职责 | 通俗理解 |
|---|---|---|
| 客户端（Client） | 持有本地数据，训练本地模型 | 各个数据拥有方，比如银行A、银行B |
| 聚合服务器（Aggregator） | 收集模型参数，执行聚合算法 | 协调者，负责把大家的模型「揉」在一起 |
| 第三方（可选） | 提供加密、密钥管理等辅助服务 | 有时候需要个「公证人」角色 |
这里要注意一点：聚合服务器可以是中心化的，也可以是去中心化的。中心化架构简单，但存在单点故障风险。去中心化架构更健壮，但通信开销会大很多。嗯，这里要权衡。
3.3 核心流程：四步走
横向联邦学习的训练流程，我总结为四步。每一步都有坑，咱们一个一个说。
- 初始化： 服务器下发初始模型参数给所有客户端。这个初始模型可以是预训练好的，也可以是随机初始化的。我个人建议，如果条件允许，用预训练模型做 warm start，收敛速度会快很多。
- 本地训练： 每个客户端用自己的数据训练模型。这一步和普通训练完全一样，只是数据量可能小一些。我曾经见过一个项目，客户端只有几百条数据，训练出来的模型参数抖动非常厉害。这种情况，建议加大本地 batch size 或者做数据增强。
- 参数上传： 客户端把训练好的模型参数（梯度或权重）上传到服务器。注意，这里上传的是参数，不是数据。但即便如此，参数也可能泄露隐私。所以，加密传输是必须的。
- 聚合更新： 服务器收到所有客户端的参数后，执行聚合算法，生成新的全局模型。最经典的算法就是 FedAvg（联邦平均）。
3.4 FedAvg 算法：最朴素的聚合方式
FedAvg 的全称是 Federated Averaging。它的思路非常朴素：把各个客户端的模型参数按数据量加权平均。
公式很简单：
w_global = (n1 * w1 + n2 * w2 + ... + nk * wk) / (n1 + n2 + ... + nk)其中，ni 是第 i 个客户端的数据量，wi 是它的模型参数。
为什么按数据量加权？你想想看，数据多的客户端，它的模型更有代表性，权重自然应该大一些。这个逻辑很直观。
但 FedAvg 有个问题：它假设所有客户端的数据分布是独立同分布的（IID）。现实中呢？完全不是。比如两家银行，一家主要做房贷，一家主要做信用卡。它们的客户特征差异很大，这就是 Non-IID 问题。
3.5 典型应用场景
横向联邦学习的应用场景，我挑三个最典型的说说。
3.5.1 金融风控：联合反欺诈
多家银行联合训练反欺诈模型。每家银行都有自己的交易数据，但欺诈样本太少。通过横向联邦学习，大家共享模型参数，相当于变相扩大了训练数据量。我在一个项目中，参与方从3家扩展到10家后，模型 AUC 提升了12%。效果非常明显。
3.5.2 医疗影像：跨机构诊断
不同医院的影像数据，因为设备型号、患者群体不同，分布差异很大。用横向联邦学习，可以在不共享原始影像的情况下，训练出一个泛化能力更强的诊断模型。嗯，这里要注意，医疗数据对隐私要求极高，通常需要结合差分隐私一起使用。
3.5.3 智能终端：输入法预测
手机输入法的词库更新，就是典型的横向联邦学习。每个用户的输入数据都在本地，模型参数上传到云端聚合。你想想看，如果每次打字都要上传到服务器，那隐私就全没了。联邦学习正好解决了这个问题。
3.6 技术选型建议
最后，我给出一些选型建议。这些是我踩过坑之后总结出来的。
- 数据分布是否 IID？ 如果是，直接用 FedAvg。如果不是，考虑 FedProx、SCAFFOLD 等改进算法。
- 客户端数量多少？ 少于10个，中心化架构就够了。多于100个，建议用去中心化架构，或者分层聚合。
- 通信带宽够吗？ 带宽有限的话，考虑梯度压缩、稀疏化等技术。我曾经在移动端场景中，把通信量压缩了90%，模型精度只下降了1%。
- 是否需要容错？ 如果客户端经常掉线，建议用异步联邦学习，或者设置冗余客户端。
好了，横向联邦学习的基本原理、架构和典型场景，咱们就聊到这儿。下一节，我会讲纵向联邦学习，那又是另一番天地了。