📚 课程目录第3章学习率调度策略

3、学习率调度策略：Step、Cosine、OneCycle 归纳总结

学习率调度这事儿，说白了就是训练过程中的“油门踏板”。踩得太猛，模型直接飞出路面；踩得太轻，半天挪不动窝。我自己在调模型时，经常因为这一步没弄好，白白浪费好几个小时的算力。今天咱们就把三种最主流的策略——Step、Cosine、OneCycle——掰开揉碎讲清楚。

3.1 为什么需要调度？

一开始我也偷懒，直接把学习率设成固定值。结果呢？模型要么在局部震荡降不下去，要么干脆不收敛。你想想看，训练前期的参数离最优解还很远，需要大步子探索；后期接近最优解了，就得小步慢跑，不然容易跳过坑底。

学习率调度的核心目标：在训练过程中动态调整步长，平衡探索与收敛。

关键指标：一个好的调度策略，能让验证损失曲线呈现“陡降—缓降—平稳”的三段式形态。我记得有个项目，用了固定学习率，损失在0.35附近死活下不去；换成Cosine调度后，最终降到了0.21。

3.2 Step Decay 策略

Step Decay是最古老、最直观的策略。每隔固定步数，学习率乘上一个衰减系数。公式很简单：

η_t = η_0 × γ^(floor(step / step_size))

其中 γ 通常取 0.1 或 0.5，step_size 是衰减周期。

我个人习惯拿它作为基线调法——先用它跑一遍，摸清模型大概的“脾气”。举个例子：

# PyTorch 实现
from torch.optim.lr_scheduler import StepLR

scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()

避坑指南：我曾经在某个NLP任务里把 step_size 设得太小（5个epoch），结果学习率降得太快，模型还没来得及探索就陷入局部最优。后来改成20个epoch衰减一次，效果才出来。

参数	推荐范围	我的经验
step_size	总epochs的 1/3 ~ 1/2	用 30-50% 总步数，不要死磕整数
gamma	0.1 ~ 0.5	0.1 适合训练后期要大降的情况；0.5 更平稳

3.3 Cosine Annealing 策略

Cosine Annealing这两年非常火，尤其是在视觉任务里。它的核心思路是：学习率按余弦曲线下降，平稳且自然。公式看着复杂，但效果确实不错：

η_t = η_min + 0.5 × (η_0 - η_min) × (1 + cos(π × T_cur / T_max))

它跟Step Decay有什么不同？ Step是“跳崖式”下降，Cosine是“滑梯式”下降。我观察到，Cosine在训练中后段能保持更长时间的小步探索，不容易漏掉好位置。

一个小技巧：我经常把 T_max 设成总epochs数，这样学习率刚好在训练结束时降到最低。如果你用的是带动量的优化器，记得把 η_min 设为初始学习率的 0.01 倍，避免动量积累导致震荡。

# PyTorch 实现
from torch.optim.lr_scheduler import CosineAnnealingLR

scheduler = CosineAnnealingLR(optimizer, T_max=50, eta_min=1e-6)
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()

我在项目中遇到过：有一次训练图像分类模型，Step Decay在80个epoch后损失不再下降。换成Cosine并配合 eta_min=0，损失又下降了0.03个点。其实这就是余弦退火的好处——它能更精细地探索损失曲面底部。

3.4 OneCycle 策略

OneCycle是这几年最让我惊喜的策略。它的思路是：先让学习率从很低升到很高（预热阶段），再降回极低值。说白了，目的只有一个：在训练早期提供大学习率，帮模型跳出局部坑，再慢慢收敛。

OneCycle 的典型曲线：

# PyTorch 实现
from torch.optim.lr_scheduler import OneCycleLR

scheduler = OneCycleLR(optimizer,
                       max_lr=0.01,
                       steps_per_epoch=len(train_loader),
                       epochs=50,
                       pct_start=0.3,
                       anneal_strategy='cos')
for epoch in range(50):
    for batch in train_loader:
        train_batch(batch)
        scheduler.step()

关键参数解释：

max_lr：最大学习率，通常设为初始学习率的 2~10 倍
pct_start：预热阶段占总步数的比例，我一般用 0.2~0.3
anneal_strategy：退火策略，'cos' 或 'linear'，我推荐 'cos'

我有个小建议：不妨把周期数设为训练总epochs的1/3到1/2。举个例子，你要训练100个epoch，那就让OneCycle在训练到50个epoch时把学习率降到最低，剩下50个epoch可以用一个很小的恒定学习率继续微调。

警告：OneCycle在批量较大（batch_size > 256）时容易不稳定。我曾经在一个检测模型上踩过这个坑，损失曲线直接飞出天际。后来把 max_lr 从0.01降到0.001才稳住。

3.5 三种策略对比

策略	核心特点	适用场景	经典参数	风险提示
Step Decay	阶段性下降，简单可控	分类、回归等常规任务	gamma=0.1, step=30	衰减过快可能导致欠拟合
Cosine Annealing	平滑下降，探索后期细腻	图像分类、NLP预训练	T_max=50, eta_min=1e-6	前期下降太慢？调整T_max
OneCycle	预热+退火，速度与精度兼得	高批量、大模型微调	max_lr=0.01, pct_start=0.3	max_lr过大容易训练崩溃

3.6 如何选择？

其实没有标准答案。我自己的选型原则是：

新手起步：先上 Step Decay，参数少、好理解。
追求最优：改 Cosine，能多榨出 0.5~1 个点的精度。
训练时间紧张：上 OneCycle，它能在更少 epoch 内达到不错的效果。
不确定：就跑个对比实验——Step、Cosine、OneCycle各跑 20 个epoch，看谁下降最快最稳。

避坑总结：不管用哪种策略，warmup_steps都建议至少设100~500步。我见过太多人因为没做预热，一开始就学习率拉满，结果模型直接发散。预热能帮你避免这种情况。

3.7 学习率调度策略知识体系

3.8 写在最后

深度学习中没有“最优”的学习率策略，只有“最合适”的策略。我自己维护的几个项目，CV相关的一律用Cosine，NLP的小模型用Step，大模型微调基本都上OneCycle。你想想看，不同任务对探索和收敛的需求不一样，何必死磕一种呢？

另外，别忘了把调度策略和优化器的参数（比如动量、weight decay）配合起来调。我曾经见过有人把学习率调到0.0001了，动量还保持0.9，结果导致参数更新太超前，损失反而上升。嗯，这里要注意：调度器降低学习率的同时，你可以适当降低动量，或者让weight decay保持恒定。

好了，这一章就到这儿。理解这三种策略，你在调参路上就已经避开了大部分坑。