01
稳定性调参概述
什么是稳定性调参、为什么重要、调参的通用流程与核心思想。
概念流程
02
参数空间与搜索策略
网格搜索、随机搜索、贝叶斯优化的原理与对比。
搜索超参数
03
学习率调参
学习率的影响、衰减策略（Step、Cosine、Warmup）及实战经验。
学习率衰减
04
批量大小与梯度累积
Batch Size对收敛的影响、梯度累积原理、显存与速度权衡。
Batch显存
05
优化器选择
SGD、Momentum、Adam、AdamW的原理与适用场景。
优化器对比
06
权重初始化
Xavier初始化、Kaiming初始化、预训练权重加载注意事项。
初始化预训练
07
正则化技术
L1/L2正则化、Dropout、DropPath、Label Smoothing。
正则化防过拟合
08
Batch Normalization调参
BN原理、训练与推理模式差异、SyncBN的使用。
BN同步
09
损失函数设计
交叉熵、Focal Loss、Dice Loss、自定义损失函数技巧。
损失Focal
10
数据增强策略
基础增强、CutMix、MixUp、AutoAugment调参要点。
增强CutMix
11
梯度裁剪
梯度爆炸原因、Clip Value与Clip Norm选择、实战案例。
梯度裁剪
12
早停法与模型检查点
Early Stopping策略、Best Model保存、ReduceLROnPlateau。
早停检查点
13
学习率预热
Warmup必要性、线性Warmup与余弦Warmup实现。
Warmup余弦
14
权重衰减与解耦
Weight Decay正确设置、AdamW中的解耦思想。
解耦AdamW
15
多任务学习调参
任务权重平衡、梯度冲突处理、动态权重调整。
多任务权重
16
对抗训练
FGSM、PGD对抗训练原理与参数设置。
对抗鲁棒性
17
知识蒸馏调参
温度系数、软/硬标签权重、教师模型选择。
蒸馏温度
18
混合精度训练
FP16/BF16原理、Loss Scaling、显存优化技巧。
混合精度显存
19
分布式训练调参
数据并行、模型并行、梯度同步、通信优化。
分布式并行
20
超参数自动搜索
Optuna、Ray Tune使用、搜索空间设计、早停策略。
自动搜索Optuna
21
模型量化调参
PTQ与QAT区别、校准数据集、量化敏感层分析。
量化PTQ
22
稀疏化与剪枝
结构化/非结构化剪枝、稀疏率选择、重训练策略。
剪枝稀疏
23
长尾分布处理
重采样、重加权、Decoupled Training、Logit Adjustment。
长尾重加权
24
类别不平衡调参
Focal Loss参数、Class Balanced Loss、阈值移动。
不平衡Focal
25
时间序列模型调参
序列长度、滑动窗口、季节性分解、差分阶数。
时间序列滑动窗口
26
强化学习调参
学习率、折扣因子、探索率、经验回放池大小。
强化学习探索
27
GAN训练稳定性
梯度惩罚、谱归一化、交替训练频率、模式崩溃处理。
GAN稳定性
28
迁移学习调参
冻结层策略、微调学习率、特征提取与全量微调选择。
迁移微调
29
模型集成调参
Bagging、Boosting、Stacking、加权平均与投票策略。
集成投票
30
调参实战案例
从零调优图像分类模型（CIFAR-10/ImageNet）全流程复盘。
实战复盘