课程导入：学习目标、课程结构、ONNX模型量化压缩优化的背景与价值
1.1 为什么需要关注ONNX模型量化压缩
在深度学习工程化落地过程中，模型部署始终面临一个核心矛盾：模型精度越来越高，但参数量与计算量也随之膨胀。以ResNet-50为例，其FP32权重文件约98MB，单次推理需要约3.8 GFLOPs计算量。在云端GPU上这或许不是问题，但一旦迁移到手机端、嵌入式设备或边缘推理盒子上，内存带宽、存储空间和算力都会成为瓶颈。
ONNX（Open Neural Network Exchange）作为跨框架模型交换格式，承担着从训练框架到推理引擎之间的“桥梁”角色。然而，ONNX模型本身并不自带压缩能力——它只是描述计算图的中间表示。真正让ONNX模型“瘦身”并加速的关键技术之一，就是量化（Quantization）。
量化压缩的本质，是将神经网络中连续的浮点权重和激活值，映射到离散的低比特整数空间。最常见的做法是将FP32（32位浮点）转为INT8（8位整数），理论上模型体积直接缩小至原来的1/4，推理速度在支持INT8指令集的硬件上可提升2～4倍。更激进的量化方案（如INT4、INT1）则用于极端内存受限的场景。
1.2 课程学习目标
完成本课程后，你将能够：
- 理解量化核心原理：掌握对称量化与非对称量化的数学基础，理解scale、zero point、量化误差的来源与影响。
- 熟练使用ONNX Runtime量化工具链：包括
onnxruntime.quantization模块中的quantize_static、quantize_dynamic接口，以及校准数据集的准备方法。 - 掌握ONNX模型量化全流程：从模型预处理、算子支持检查、校准数据采集、量化执行到精度验证与回退策略。
- 具备量化问题排查能力：能够定位量化后精度骤降的算子，理解哪些层对量化敏感，并运用混合量化或QDQ（Quantize-Dequantize）节点调整进行修复。
- 建立量化工程化思维：在模型体积、推理速度与精度三者之间做出合理的工程权衡。
1.3 课程结构与学习路径
本课程共30章，按“原理 → 工具 → 实战 → 调优 → 进阶”五个阶段递进组织。前5章夯实量化理论基础，第6～12章聚焦ONNX Runtime量化API与实操流程，第13～20章深入静态量化、动态量化、混合量化的真实案例，第21～26章讲解精度调优与算子级排障，最后4章介绍量化感知训练（QAT）与Transformer模型量化等前沿方向。
| 阶段 | 章节范围 | 核心能力 |
|---|---|---|
| 原理基础 | 第1～5章 | 量化数学原理、ONNX模型结构、算子兼容性 |
| 工具实操 | 第6～12章 | ONNX Runtime量化API、校准数据构建、量化执行 |
| 案例实战 | 第13～20章 | CNN/Transformer/检测模型量化全流程 |
| 调优排障 | 第21～26章 | 精度对比、敏感层定位、混合量化策略 |
| 进阶拓展 | 第27～30章 | QAT量化感知训练、量化新硬件适配 |
每一章都配有可运行的ONNX模型示例与量化前后对比数据，建议你在学习时同步打开Python环境，跟随代码操作。第13章起，每章均包含一个完整的量化压缩案例，从模型加载到最终精度验证，形成闭环。
1.4 ONNX量化压缩的核心价值
量化压缩的价值可以从三个维度衡量：存储、内存带宽、计算延迟。下面这张图展示了FP32模型与INT8量化模型在典型部署链路中的差异：
从上图可以直观看到，INT8量化在三个关键指标上均带来数量级改善。在边缘设备上，这种差异往往决定了模型能否实时运行。例如在树莓派或手机NPU上，FP32模型可能因内存带宽不足而频繁交换数据，INT8模型则能完全驻留于缓存中，实现流畅推理。
1.5 量化压缩的典型应用场景
量化压缩并非所有场景的银弹，但在以下情况中价值尤为突出：
- 移动端App集成：安装包体积受限，模型需压缩至几十MB以内。
- 边缘AI盒子：多路视频流同时推理，内存带宽成为瓶颈。
- 自动驾驶车载单元：对延迟极端敏感，且计算资源受功耗限制。
- 大规模云服务降本：模型量化后，相同GPU可承载更多推理请求，降低单次推理成本。
- 大模型端侧部署：LLM等超大模型必须通过量化才能放入终端内存。
1.6 常见误区与学习提醒
量化压缩是ONNX模型工程化中性价比最高的优化手段之一。它不需要重新训练模型，不需要修改网络结构，仅通过数值精度转换即可获得存储与速度的双重收益。接下来的课程中，我们将从量化最基础的数学原理出发，逐步深入到ONNX Runtime的实际操作，最终让你能够独立完成任意ONNX模型的量化压缩与调优。