1. FRL训练时序参数概述：理解时序参数在FRL中的角色与影响

说实话，很多人刚开始接触FRL训练时，都盯着模型结构、损失函数看。算法跑通了，loss也降了，但最终效果却总差那么一口气。我早期踩过这个坑，折腾了好几个项目才明白——时序参数才是那层窗户纸。

时序参数是什么？说白了，就是控制模型什么时候学、学多快、学多久的那组数值。在联邦强化学习（FRL）里，它们决定了训练过程能否稳定收敛，以及最终策略好不好用。你想想看，强化学习本身就很吃时间维度的配合，再加一个联邦场景，参数调不对，训练直接崩掉也不稀奇。

时序参数为何如此重要？

FRL的时序关系可以这样理解：客户端在本地跑强化学习，每个step都在积累经验；服务端隔一段时间聚合一次，更新全局策略。这个节奏如果没配合好，就会出现——

• 本地训练步数太少：策略还没学到什么就被拉去聚合，全局模型来回震荡。
• 本地训练步数太多：每个客户端严重过拟合自己的数据，聚合后全局模型反而退化。
• 通信频率太高：大量带宽花在模型传输上，训练速度慢得让人抓狂。
• 学习率衰减太快：全局还没收敛就开始精细调参，直接陷入局部最优。

我在项目中遇到过最典型的情况：同样的网络结构、同样的数据量，只是把本地步数从5步改成20步，最终奖励值差了将近30%。所以你看，时序参数不是配角，它才是真正的训练加速器或减速器。

三大核心时序参数

FRL训练时序参数可以归纳为三类，每一类都管一个核心维度。我个人习惯把它们记成“三步一频”——训练步数、通信频率、学习率时序。

记住这张表。我们后面每一章都会反复和它们打交道。

时序参数的相互作用

这里要提一个容易被忽略的点——时序参数之间不是独立的。它们像齿轮，一个动，别的也跟着转。

举个例子：你把学习率设成大值，同时本地训练步数也设得很大，会发生什么？客户端跑几十步步后，策略已经跑到一个局部拐点，再被大学习率一推动，直接飞出有效范围。我曾经试过把 lr=0.01 和 local_steps=100 搭在一起用，结果全局模型在3轮聚合内就发散得一塌糊涂。

反过来，如果local_steps很少而学习率很小，每个客户端的更新幅度太微弱，全局收敛慢得像爬行。这就是为什么我总跟团队说：时序参数要打包看待，单独调一个参数往往没有意义。

一个直观的时序结构图

下面这张图展示了FRL训练中时序参数的框架。你可以把它当成后面29章的导航图。

从图里可以清楚看到：三大参数组最后都会落到四个影响域上。你调任何一组参数，收敛速度、稳定性、通信开销和策略质量这四个维度都会跟着变。嗯，这就是我们后续每章的核心主线。

什么时候该关注时序参数？

不是所有时候都需要死磕时序参数。根据我这几年的经验，下面这几种场景你必须回头看它：

1. 训练loss一直震荡，就是不降。先检查学习率是不是太大，或者本地步数太少。
2. 全局奖励值提升很慢，甚至卡住不动。很可能是通信频率太高，客户端每次都只带了半成品来聚合。
3. 明明验证集效果不错，上线后就崩了。可能是离线优化时序跟在线环境不匹配，比如在线step更新太快或太慢。
4. 集群通信负载飙满，训练速度上不去。这时候调整通信间隔，就能省出一大笔带宽。

时序参数的监控信号

调参不是瞎猜。你需要一些信号来判断当前参数是不是在正确的轨道上。我个人最常用的是下面这三个：

• 全局平均奖励 (mean_reward)：稳步上升就说明时序方向对了。如果剧烈抖动，参数组合大概率有问题。
• 客户端模型差异度 (model_divergence)：这个值太大说明每个客户端都学到不同方向去了，可能要降低本地步数或增加通信频率。
• 梯度范数 (gradient_norm)：突然暴涨往往是学习率过大或训练步数过长引发的。

怎么在训练代码里抓这些信号？来一段简短的示例：

# 训练循环中记录时序关键指标
for round in range(total_rounds):
    avg_reward = 0
    model_diffs = []
    for client in clients:
        local_reward, grad_norm = client.train(local_steps=args.local_steps)
        avg_reward += local_reward
        model_diffs.append(compute_divergence(global_model, client.model))
    logger.info(f"Round {round} | mean_reward: {avg_reward:.2f} "
                f"| divergence: {np.mean(model_diffs):.4f} "
                f"| lr: {current_lr:.5f}")

有了这些信号，你调参就不是盲调了。每次改一个参数，看一眼信号变化，很快就找到那组黄金组合。

第1章就讲这些。时序参数在FRL里不是锦上添花的末端配置，是训练成败的关键变量。记住三个参数组——步数、频率、速率——以及它们对收敛速度、稳定性、通信开销和策略质量的影响。后面的章节，我们一个一个拆开细说。