VIP20
本课程属于：009-TinyML量化感知训练QAT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

QAT精度恢复中的学习率与梯度稳定调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
量化感知训练基础
量化原理 · QAT流程 · 精度损失来源
量化感知训练基础量化原理
03
学习率在QAT中的角色
学习率对量化模型收敛的影响
QAT学习率
04
梯度稳定性的基本概念
梯度消失 · 梯度爆炸 · 梯度噪声
梯度稳定性的基本…梯度消失
05
QAT中的常见精度问题
过拟合 · 欠拟合 · 振荡
QAT常见精度问题
06
学习率策略概览
固定 · 衰减 · 循环
学习率策略概览固定
07
梯度裁剪技术
原理 · 常用方法（全局 · 按范数
梯度裁剪技术原理
08
学习率预热
为什么需要 · 实现方式 · 对QAT的益处
学习率预热为什么需要
09
学习率衰减策略
步长衰减 · 指数衰减 · 余弦退火
学习率衰减策略步长衰减
10
自适应学习率优化器
Adam · AdamW · RMSProp在QAT中的表现
自适应学习率优化…Adam
11
梯度累积与梯度截断
处理小批量 · 稳定梯度
梯度累积梯度截断
12
梯度噪声注入
原理 · 实现 · 对泛化的影响
梯度噪声注入原理
13
学习率与批大小的关系
线性缩放规则 · 实际调整
学习率批大小的关系
14
QAT中的损失函数设计
如何影响梯度稳定性
QAT损失函数设计
15
梯度稳定化的正则化方法
权重衰减 · 梯度惩罚
梯度稳定化的正则…权重衰减
16
学习率调度器实战
PyTorch中常用调度器配置
学习率调度器实战PyTorch
17
梯度裁剪实战
代码实现 · 参数选择 · 效果评估
梯度裁剪实战代码实现
18
案例实战
ResNet-18 QAT精度恢复调…
案例实战ResNet-18
19
案例实战
MobileNetV2 QAT精度恢…
案例实战MobileNetV2
20
案例实战
Transformer模型QAT精度…
案例实战Transformer
21
超参数搜索
学习率 · 裁剪阈值 · 预热步数的调优方法
超参数搜索学习率
22
监控与诊断
训练曲线 · 梯度范数 · 权重分布分析
监控诊断
23
常见问题与解决
精度下降 · 不收敛 · 振荡
常见问题解决
24
高级技巧
学习率重启 · 循环学习率 · SGDR
高级技巧学习率重启
25
梯度稳定与量化误差的交互
如何协同优化
梯度稳定量化误差的交互
26
多阶段训练策略
先全精度后QAT · 分阶段学习率
多阶段训练策略QAT
27
自动化调参工具
Optuna · Ray Tune在QAT中的应用
自动化调参工具Optuna
28
综合实战
从零开始构建QAT调优流程
综合实战QAT
29
性能评估与对比
精度 · 速度 · 模型大小权衡
性能评估对比
30
课程总结与进阶方向
前沿研究 · 最佳实践 · 学习资源
课程总结进阶方向