课程导入：学习目标、量化在ONNX中的价值、课程整体框架与前置知识要求
在深度学习模型从研究走向生产的道路上，模型压缩与加速始终是绕不开的核心议题。随着Transformer架构、大语言模型和多模态模型的普及，模型参数量从百万级跃升至数十亿甚至千亿级，推理时的显存占用、内存带宽和计算延迟成为部署环节的硬约束。量化（Quantization）作为最有效的模型压缩手段之一，通过降低权重和激活值的数值精度，在不显著损失精度的前提下大幅减少模型体积并提升推理速度。而ONNX（Open Neural Network Exchange）作为深度学习模型互操作的事实标准，为量化提供了统一的模型表示和工具链支撑。本章作为整个课程的导入，将明确学习目标、阐述量化在ONNX生态中的核心价值、勾勒课程整体框架，并梳理学习本课程所需的前置知识。
1.1 学习目标：从原理到落地的完整能力构建
本课程的学习目标不是简单地教会你调用几个量化API，而是帮助你建立一套完整的量化知识体系，使你在面对实际部署任务时能够做出合理的技术决策。具体而言，完成本课程后，你将具备以下能力：
- 理解量化核心原理：掌握线性量化（对称/非对称）、量化参数（scale、zero-point）、量化误差来源、精度与压缩比的权衡机制，能够解释为什么8位整数（INT8）量化在大多数场景下是性价比最高的选择。
- 掌握ONNX量化全流程：熟悉从PyTorch模型导出为ONNX格式、使用ONNX Runtime或ONNX量化工具进行动态量化、静态量化、量化感知训练（QAT）的完整操作流程，能够独立完成一个模型的量化转换。
- 理解校准数据的本质：深入理解静态量化中校准数据（Calibration Data）的作用——它用于统计激活值的分布范围，从而确定量化参数。你将学会如何选择合适的校准数据集、校准样本数量以及校准方法（如MinMax、Percentile、Entropy等）。
- 具备问题诊断与调优能力：当量化后模型精度下降时，能够通过对比实验、逐层分析、敏感度分析等手段定位问题层，并采取相应的优化策略（如混合精度量化、敏感层跳过量化等）。
- 掌握ONNX Runtime量化部署：能够使用ONNX Runtime的量化API完成模型的量化转换与推理加速，并理解不同硬件后端（CPU、GPU、NPU）对量化模型的支持差异。
1.2 量化在ONNX中的价值：为什么选择ONNX作为量化载体
量化本身并不是一个新概念，但在ONNX生态中，量化被赋予了更强大的工程意义。ONNX作为模型中间表示（Intermediate Representation, IR），其量化价值体现在以下四个维度：
| 价值维度 | 具体表现 | 对部署的影响 |
|---|---|---|
| 模型体积压缩 | FP32（4字节/参数）→ INT8（1字节/参数），体积缩小约75% | 降低存储成本，加快模型下载与加载速度，适配边缘设备有限存储 |
| 推理速度提升 | INT8计算在CPU上可加速2-4倍，在GPU/NPU上加速更显著 | 降低单次推理延迟，提升吞吐量，满足实时性要求 |
| 内存带宽优化 | 更小的数据宽度意味着更少的内存读写量 | 缓解内存带宽瓶颈，尤其对Transformer等内存密集型模型效果显著 |
| 硬件友好性 | ONNX Runtime支持多种硬件后端的INT8加速（如CPU的MLAS、GPU的TensorRT、NPU的Vitis AI） | 一次量化，多端部署，避免为不同硬件分别开发量化方案 |
ONNX在量化领域的独特优势在于其标准化和工具链完整性。ONNX定义了标准的量化算子格式（如QLinearConv、QLinearMatMul、QuantizeLinear/DequantizeLinear），使得量化模型可以在不同推理引擎之间迁移。同时，ONNX Runtime提供了从量化到推理的一站式解决方案，开发者无需关心底层硬件差异。
1.3 课程整体框架：六大模块递进式学习
本课程共30章，按照知识依赖关系划分为六个模块，每个模块解决一个核心问题。课程设计遵循"从基础到高级、从理论到实践"的原则，确保学习者能够循序渐进地掌握ONNX量化技术。
| 模块 | 章节范围 | 核心主题 | 学习产出 |
|---|---|---|---|
| 模块一：基础入门 | 第1-5章 | 量化概念、ONNX基础、环境搭建、模型导出 | 能完成PyTorch→ONNX模型转换 |
| 模块二：动态量化 | 第6-10章 | 动态量化原理、权重量化、激活运行时量化 | 能对LSTM、Transformer等模型实施动态量化 |
| 模块三：静态量化 | 第11-16章 | 静态量化流程、校准数据、量化参数计算 | 能完成CNN模型的静态量化与精度验证 |
| 模块四：量化感知训练 | 第17-21章 | QAT原理、伪量化节点、训练技巧 | 能训练出高精度的INT8模型 |
| 模块五：高级主题 | 第22-26章 | 混合精度量化、敏感度分析、硬件适配 | 能针对特定硬件优化量化方案 |
| 模块六：综合实战 | 第27-30章 | 图像分类、目标检测、NLP模型量化实战 | 能独立完成完整项目的量化部署 |
本课程（第8章）属于模块三的核心章节，聚焦于动态量化、静态量化与校准数据三个关键主题。这三个主题是ONNX量化中最常用、最实用的技术，也是后续学习QAT和混合精度量化的基础。第8章将深入讲解动态量化与静态量化的区别、适用场景、操作流程，以及校准数据在静态量化中的关键作用。
1.4 前置知识要求：学习本课程需要具备的基础
为了确保学习效果，建议你在开始本课程之前，已经具备以下知识基础。如果某些方面尚有欠缺，可以在学习过程中随时查阅相关资料补充。
1.4.1 编程与框架基础
- Python编程：熟悉Python语法、NumPy数组操作、基本的数据处理流程。量化过程中涉及大量的数值计算和数组操作，Python是ONNX生态的主要接口语言。
- PyTorch基础：了解PyTorch的模型定义、训练、保存与加载流程。本课程中的模型导出示例均以PyTorch为起点，你需要能够阅读和理解PyTorch模型代码。
- ONNX基础：了解ONNX的模型结构（Graph、Node、Initializer）、算子概念，能够使用onnx库加载和检查模型。如果你对ONNX尚不熟悉，建议先学习本课程模块一的内容。
1.4.2 深度学习推理概念
- 前向传播：理解神经网络推理过程，包括卷积、全连接、激活函数、归一化等基本算子的计算方式。
- 模型部署流程：了解模型从训练到部署的一般流程，包括模型导出、格式转换、推理引擎加载、性能优化等环节。
- 精度评估：了解如何评估模型精度（如准确率、mAP、Perplexity等），能够对比量化前后模型的精度差异。
1.4.3 硬件与系统知识（可选但推荐）
- CPU/GPU架构：了解CPU的SIMD指令集（如AVX512）、GPU的Tensor Core等硬件特性，有助于理解量化加速的原理。
- 内存层次：了解缓存、主存、显存等内存层次结构，理解量化如何通过减少数据移动来提升性能。
1.5 本章小结与学习建议
本章作为课程导入，明确了学习目标、阐述了量化在ONNX中的核心价值、梳理了课程整体框架，并界定了前置知识要求。量化是模型部署中最实用的优化技术之一，而ONNX为量化提供了标准化的实现路径。在接下来的章节中，我们将深入探讨动态量化、静态量化与校准数据的具体实现方法。
为了获得最佳学习效果，建议你：
- 动手实践：每学习一个知识点，都尝试在本地环境中运行相关代码。ONNX Runtime提供了丰富的量化API，实际运行比阅读文档更能加深理解。
- 对比实验：对同一个模型分别实施动态量化和静态量化，对比精度和性能差异，思考为什么会有这些差异。
- 关注细节：量化过程中有很多容易被忽略的细节，如校准数据的选择、量化算子的参数设置、推理引擎的配置等，这些细节往往决定了最终效果。
- 建立知识网络：将本章的框架图保存下来，在学习后续章节时不断回顾，明确当前所学内容在整个知识体系中的位置。