VIP20

本课程属于：009-TinyML量化感知训练QAT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

FP32模型加入fake quant进行QAT训练教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程适用人群 · 整体学习路径

课程导入学习目标

什么是模型量化 · 定点数与浮点数 · 量化参数（scale

量化基础什么是模型量化

量化精度分析

FP32 · FP16 · INT8

量化精度分析FP32

量化感知训练（QAT）原理

QAT与训练后量化（PTQ）的区别 · 为什么需要QAT · QAT的数学原理

QAT量化感知训练

Fake Quant机制

什么是fake quant · 伪量化节点如何模拟量化误差 · 前向与反向传播中的处理

QAT整体流程

从FP32模型到QAT训练再到导出I… · 各阶段关键步骤

QAT整体流程

Python环境 · PyTorch/TensorFlow… · 依赖库（如torch.ao.quan…

环境搭建Python

准备数据集

适合QAT的数据集选择 · 数据预处理 · 数据加载器设计

准备数据集QAT

构建FP32基线模型

选择一个简单CNN或Transfor… · 训练FP32模型作为基线 · 评估准确率

插入Fake Quant节点

使用PyTorch的torch.ao… · 在模型中插入伪量化节点

配置量化器

设置量化配置（如MinMaxObse… · MovingAverageMinMa… · 量化后端（fbgemm/qnnpac…

配置量化器MinMaxObse

模型准备与校准

prepare_qat · convert等API的使用 · 校准数据集的作用

模型准备校准

QAT训练策略

学习率调整 · 优化器选择 · 训练轮数

QAT训练策略

QAT训练中的注意事项

BN层处理 · 权重与激活的量化范围更新 · 梯度直通估计（STE）原理

模型评估与验证

在验证集上评估QAT模型精度 · 与FP32基线对比 · 分析量化损失

模型评估验证

导出量化模型

将QAT训练后的模型转换为真正的IN… · 导出为ONNX或TorchScrip…

导出量化模型QAT

在CPU/GPU/边缘设备上部署量化… · 使用推理引擎（如ONNX Runti… · TensorRT）进行加速

推理部署CPU/GPU

使用PyTorch对ResNet18… · 从FP32到INT8的完整代码实现与…

案例实战PyTorch

使用TensorFlow对Mobil… · 处理Keras模型量化流程

案例实战TensorFlow

针对Transformer模型（如B… · 处理注意力机制的量化挑战

案例实战Transformer

常见问题与调试

QAT训练不收敛 · 精度下降过大 · 量化范围设置不当等问题的排查与解决

常见问题调试

QAT与PTQ的对比实验

在同一模型上分别进行PTQ和QAT · 对比精度与性能 · 理解QAT的优势

混合精度量化

部分层保持高精度 · 部分层低精度 · 如何选择敏感层

混合精度量化部分层保持高精度

量化感知训练的高级技巧

知识蒸馏结合QAT · 渐进式量化 · 量化范围初始化等

量化感知训练的高…QAT

自动化QAT工具

介绍Intel Neural Com… · NVIDIA TensorRT等工具…

QAT在边缘设备上的应用

移动端 · 嵌入式设备的量化模型优化 · 硬件特性对QAT的影响

QAT边缘设备上的应用

QAT与模型压缩结合

剪枝 · 蒸馏与量化联合使用 · 构建高性能轻量模型

QAT模型压缩结合

性能评估与调优

量化模型的推理速度 · 内存占用 · 功耗测量

性能评估调优

从零开始对一个自定义模型进行QAT · 完成训练 · 量化

综合项目QAT

课程总结与进阶方向

回顾核心知识点 · 推荐学习资源 · 探讨QAT未来发展趋势（如低比特量化

课程总结进阶方向