VIP8

本课程属于：012-大模型推理部署与GPU优化 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型量化原理与动手实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是模型量化？为什么需要量化？量化的核心思想与收益。

入门核心概念

数值精度基础

浮点数（FP32/FP16/BF16）与定点数（INT8/INT4）的表示与区别。

量化数学原理

量化公式（Scale和Zero Point）、对称量化与非对称量化。

逐张量量化、逐通道量化、逐组量化（Group-wise）的对比与选择。

校准与数据

校准数据集的作用、如何选择校准数据、数据量对量化效果的影响。

MinMax校准法

原理、实现步骤、对异常值的敏感性分析。

MinMax异常值

Percentile校准法

为什么需要百分位？如何选择百分位阈值？实战经验。

百分位阈值

KL散度校准法

信息论基础、KL散度在量化中的应用、NVIDIA的实践。

KL散度信息论

MSE与MAE校准法

最小化均方误差与平均绝对误差，哪种更适合你的模型？

量化感知训练（QAT）原理

模拟量化、直通估计器（STE）、伪量化节点。

QAT实战流程

在PyTorch中实现QAT，从插入Observer到Fuse BN。

训练后量化（PTQ）原理

无需训练的量化方式，权重与激活的量化策略。

使用PyTorch的torch.quantization进行静态与动态量化。

动态量化 vs 静态量化

原理对比、适用场景、性能与精度权衡。

对称量化、非对称量化、Per-channel量化在权重上的应用。

权重per-channel

激活值的分布特性、如何选择合适的量化范围、Clip与ReLU的影响。

Batch Normalization融合

BN融合到Conv中，减少量化误差的经典技巧。

量化中的精度损失分析

为什么量化后精度会掉？如何诊断与修复？

混合精度量化

不同层使用不同精度，如何自动搜索最优配置？

混合精度搜索

硬件感知量化

了解GPU/NPU/CPU对量化指令的支持（如Tensor Core、DP4a）。

硬件指令集

NVIDIA TensorRT量化

使用TensorRT的INT8量化流程，Calibrator的选择。

ONNX Runtime量化

ONNX格式下的量化工具链，从模型导出到推理。

移动端与边缘设备的量化方案，Full Integer Quantization。

量化模型部署

将量化模型部署到生产环境，性能测试与精度验证。

量化与剪枝/蒸馏的结合

模型压缩三板斧，如何协同工作？

量化工具库介绍

Intel Neural Compressor、NVIDIA TAO Toolkit、OpenVINO。

量化模型的安全性与鲁棒性

量化对对抗攻击的影响，梯度消失问题。

安全鲁棒性

大语言模型（LLM）量化

、AWQ、GGUF等方法的原理与对比。

LLM量化实战

使用AutoGPTQ或llama.cpp量化LLaMA模型，部署到本地。

llama.cppAutoGPTQ

量化前沿与未来

FP8量化、4-bit以下量化、量化与稀疏化的融合趋势。