VIP20
本课程属于：009-TinyML量化感知训练QAT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

QAT伪量化节点插入与训练收敛问题解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与学习路径
课程导入学习目标
02
量化基础
模型量化的基本概念 · 定点与浮点表示 · 量化参数（scale/zero-po…
量化基础模型量化的基本概…
03
量化感知训练（QAT）概述
QAT与训练后量化（PTQ）的区别 · QAT的动机与适用场景
QAT量化感知训练
04
伪量化节点原理
伪量化（FakeQuant）的数学定… · 前向与反向传播行为 · 量化误差模拟
伪量化节点原理FakeQuant
05
伪量化节点插入位置
权重 · 激活 · 残差连接
伪量化节点插入位…权重
06
插入策略与模式
手动插入 · 自动插入（如PyTorch的torc… · 基于图优化的插入方法
插入策略模式
07
QAT训练流程
从预训练模型到QAT的完整流程 · 数据加载 · 优化器与学习率调整
QAT训练流程
08
训练收敛问题概览
QAT中常见的收敛问题（震荡 · 不收敛 · 精度下降）及其原因分类
训练收敛问题概览QAT
09
量化参数初始化
scale和zero-point的初… · 基于校准）对收敛的影响
量化参数初始化scale
10
伪量化节点对梯度的影响
直通估计器（STE）原理 · 梯度近似误差与收敛性分析
伪量化节点对梯度…STE
11
学习率与优化器选择
QAT中学习率策略（如余弦退火 · warmup） · 优化器（SGD/Adam）的适配
学习率优化器选择
12
损失函数与正则化
QAT中损失函数设计 · 量化误差正则化 · 辅助损失对收敛的改善
损失函数正则化
13
批归一化（BN）与伪量化
BN层在QAT中的处理（foldin… · 更新策略）及其对收敛的影响
BN批归一化
14
训练超参数调优
batch size · epoch数 · 梯度裁剪
训练超参数调优batch
15
数据增强与预处理
QAT中数据增强策略 · 输入分布变化对量化参数的影响
数据增强预处理
16
案例实战
基于PyTorch的QAT实现（以R… · 伪量化节点插入 · 训练与评估
案例实战PyTorch
17
案例实战
基于TensorFlow的QAT实现…
案例实战TensorFlow
18
案例实战
自然语言处理（NLP）模型QAT——…
案例实战NLP
19
案例实战
目标检测模型QAT——YOLO系列中…
案例实战QAT
20
常见问题1
训练不收敛或发散——原因分析（学习率… · 梯度爆炸 · 量化参数异常）与解决方案
常见问题1训练不收敛或发散
21
常见问题2
训练收敛但精度下降——量化误差累积 · 敏感层识别与混合精度量化
常见问题2训练收敛但精度下…
22
常见问题3
训练震荡或损失波动——批大小 · 学习率 · BN统计更新策略的调整
常见问题3训练震荡或损失波…
23
常见问题4
伪量化节点导致梯度消失或梯度不准——… · 噪声注入）
常见问题4伪量化节点导致梯…
24
常见问题5
量化参数更新与训练不同步——如何正确… · 基于梯度）
常见问题5量化参数更新
25
高级技巧
敏感层分析 · 逐层量化误差评估 · 混合精度QAT（不同层不同位宽）
高级技巧敏感层分析
26
高级技巧
知识蒸馏与QAT结合——教师-学生框…
高级技巧QAT
27
高级技巧
自适应伪量化——基于训练动态调整量化… · 学习量化参数
高级技巧自适应伪量化
28
工具与框架
PyTorch · TensorFlow · ONNX
工具框架
29
综合实战
从零构建一个QAT训练管线（数据 · 模型 · 插入
综合实战QAT
30
课程总结与进阶方向
QAT前沿研究（如LSQ · Learned Step Size） · 部署注意事项
课程总结进阶方向