VIP20

本课程属于：009-TinyML量化感知训练QAT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

QAT训练梯度传播与量化噪声适应教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与学习路径

课程导入学习目标

量化基础回顾

定点数表示 · 对称/非对称量化 · 量化参数（scale/zero-po…

量化基础回顾定点数表示

为什么需要量化感知训练 · PTQ的局限性以及QAT的核心思想

QAT训练流程总览

预训练模型准备 · 插入伪量化节点 · 微调策略

QAT训练流程总览

伪量化算子详解

前向模拟量化（round/clamp…

伪量化算子详解round/clamp

梯度传播机制

STE的数学形式 · 梯度近似误差 · 以及为何STE在QAT中有效

梯度传播机制STE

量化噪声的数学建模

均匀噪声 · 舍入误差的统计特性及其对梯度的影响

量化噪声的数学建…均匀噪声

量化噪声对梯度的影响分析

噪声如何扰动梯度 · 导致训练不稳定或收敛缓慢

量化噪声对梯度的…噪声如何扰动梯度

噪声适应策略概览

梯度裁剪 · 学习率调整 · 噪声正则化

噪声适应策略概览梯度裁剪

学习率与量化噪声的交互

高学习率下的噪声放大 · 低学习率下的收敛问题及调参技巧

学习率量化噪声的交互

批量大小与噪声适应

批量大小对梯度噪声的影响 · 以及QAT中如何选择批量大小

批量大小噪声适应

梯度裁剪与梯度累积

在QAT中应用梯度裁剪和梯度累积来抑…

梯度裁剪梯度累积

动量与优化器选择

SGD · Adam · AdamW等优化器在QAT中的表现及…

动量优化器选择

权重更新中的噪声抑制

权重正则化 · 权重衰减 · 以及权重噪声注入的对比

权重更新噪声抑制

量化范围与步长的动态调整

学习量化参数（scale/zero-…

量化范围步长的动态调整

直通估计的改进变体

分段线性STE · 软量化 · 以及梯度缩放技术

直通估计的改进变…STE

噪声适应损失函数设计

在损失函数中加入量化噪声惩罚项或正则…

噪声适应损失函数…损失函数

批归一化与量化噪声

BN层在QAT中的特殊处理 · 如折叠BN · 更新统计量

批归一化量化噪声

激活量化与梯度传播

激活值量化对反向传播的影响 · 以及如何缓解激活噪声

激活量化梯度传播

权重量化与梯度传播

权重量化导致的梯度偏差 · 以及权重更新时的补偿策略

权重量化梯度传播

梯度噪声的评估指标

如何量化梯度噪声 · 监控训练稳定性（如梯度范数 · 损失曲线）

梯度噪声的评估指…如何量化梯度噪声

QAT中的学习率调度

余弦退火 · warmup · 以及针对噪声适应的自定义调度

QAT学习率调度

在ResNet-18上实现QAT · 对比不同噪声适应策略的效果

案例实战ResNet-18

在MobileNetV2上应用QAT · 处理深度可分离卷积的量化噪声

案例实战MobileNetV2

Transformer模型（如BER… · 注意力层的噪声适应

案例实战Transformer

常见问题与调试

训练发散 · 精度下降 · 梯度消失/爆炸等问题的诊断与解决

常见问题调试

QAT与混合精度训练的结合

FP16/BF16与QAT的协同 · 以及梯度缩放

QAT混合精度训练的结…

QAT工具与框架实践

PyTorch · TensorFlow · ONNX等工具中的QAT实现与配置

从零构建一个QAT训练管线 · 包含噪声适应策略 · 并完成部署

综合项目QAT

课程总结与进阶方向

QAT前沿研究（如LSQ · Learned Step Size） · 自动化调参

课程总结进阶方向