01
参数整定概述
什么是端到端模型参数 · 参数整定的目标与意义 · 常见参数类型概览
基础入门
02
学习率调优（上）
学习率的作用 · 学习率对收敛的影响 · 固定学习率的陷阱
学习率收敛
03
学习率调优（下）
Step · Cosine · ReduceLROnPlateau · Warmup技巧
衰减预热
04
优化器选择（上）
SGD与Momentum · Adam与AdamW对比
SGDAdam
05
优化器选择（下）
LAMB · LARS大Batch优化器 · betas/eps微调
大BatchLAMB
06
Batch Size调优
梯度噪声与泛化 · 显存速度权衡 · 梯度累积技巧
显存梯度累积
07
权重初始化
Xavier · Kaiming · 正交初始化 · 预训练加载
初始化预训练
08
正则化技术（上）
L1/L2 · Dropout原理与rate · Transformer变体
DropoutL2
09
正则化技术（下）
Label Smoothing · Mixup/CutMix · Stochastic Depth
数据增强标签平滑
10
归一化层选择
BatchNorm · LayerNorm · InstanceNorm · GroupNorm
归一化LayerNorm
11
损失函数设计（上）
CrossEntropy · Focal Loss · MSE · MAE · Huber
分类回归
12
损失函数设计（下）
InfoNCE对比损失 · Uncertainty Weighting多任务加权
对比学习多任务
13
梯度裁剪
梯度爆炸原因 · Clip by Value vs Norm · 阈值经验
梯度稳定
14
早停法 (Early Stopping)
监控指标 · Patience设置 · 模型保存策略
早停过拟合
15
学习率与Batch Size联动
线性缩放法则 · 实际应用调整
缩放法则联动
16
模型架构参数（上）
head数 · depth · hidden size 关联与选择
Transformer架构
17
模型架构参数（下）
kernel size · stride · channel数设计原则
CNN设计
18
激活函数选择
ReLU · GELU · Swish/SiLU · GLU变体参数影响
激活GELU
19
位置编码调优
绝对/相对位置编码 · RoPE · ALiBi参数配置
位置编码RoPE
20
注意力机制参数
Attention Dropout · Key/Query投影 · Flash Attention
注意力Flash
21
混合精度训练
FP16/BF16原理 · Loss Scaling · Master Weights
混合精度FP16
22
分布式训练参数
数据/模型并行 · AllReduce · 通信压缩
分布式并行
23
超参数搜索策略
网格/随机搜索 · 贝叶斯(Optuna) · PBT
搜索Optuna
24
模型量化参数
PTQ vs QAT · per-tensor vs per-channel · 校准集
量化INT8
25
知识蒸馏参数
温度T · 软/硬标签权重 · 学生架构设计
蒸馏温度
26
数据加载与预处理
多进程worker · prefetch factor · 增强强度控制
数据加载worker
27
训练稳定性监控
Loss曲线 · 梯度范数 · 参数更新幅度 · EMA
监控EMA
28
模型部署参数优化
ONNX导出 · TensorRT动态shape · INT8校准
部署TensorRT
29
实战案例（上）
图像分类 ResNet/ViT 完整参数整定流程
实战ResNet
30
实战案例（下）
LLaMA/微调参数整定与常见问题排查
大模型微调