1. 课程导入与量化部署全景
视觉模型量化部署，本质上不是“把 FP32 换成 INT8”这一条命令，而是一项围绕精度、速度、显存、功耗与工程可维护性展开的系统工程。一个在服务器上以 FP32 推理、mAP 达到 0.42 的检测模型，经过量化后可能只有 0.39，但推理延迟从 38 ms 降到 11 ms、模型体积从 96 MB 降到 25 MB，这种“精度换效率”的取舍是否可接受，取决于业务场景：工业质检可能要求 mAP 下降不超过 0.5 个点，而移动端实时分割可能允许 1～2 个点的下降以换取 3 倍加速。因此，本课程的核心不是教某一条量化命令，而是建立一套可度量、可回退、可复现的量化部署工程方法。
量化部署的工程目标
视觉模型量化部署通常同时追求四个目标，它们之间存在明确的张力：
- 精度保持：量化后模型在目标数据集上的指标（mAP、IoU、Top-1、PSNR 等）相对浮点基线的下降控制在业务阈值内，例如分类 Top-1 下降 ≤ 0.5%，检测 mAP 下降 ≤ 1.0%。
- 推理加速：在目标硬件上获得实际端到端延迟收益，而不是只看理论 FLOPs。INT8 在支持 DP4A/VNNI 的 GPU、NPU 上通常有 2～4 倍加速，但在不支持低比特指令的 CPU 上可能反而变慢。
- 资源压缩：权重从 FP32 的 4 字节降到 INT8 的 1 字节，模型体积约缩小 4 倍；激活值量化后峰值显存也显著下降，使大分辨率输入或大 batch 成为可能。
- 可部署性：量化模型必须能被目标推理引擎（TensorRT、ONNX Runtime、OpenVINO、TFLite、NCNN 等）正确加载，算子被支持，量化参数（scale/zero-point）与引擎的量化语义一致。
这四个目标中，精度保持是最容易被低估、也最容易在项目后期反噬的环节。很多团队在实验室用校准集跑出“精度几乎无损”，上线后却发现某些类别、某些光照条件、某些小目标上的精度大幅退化。原因往往不是量化算法本身，而是校准数据分布与真实数据分布不一致、敏感层未被保护、或者量化粒度选择不当。
精度保持的核心挑战
量化误差主要来自三个层面，理解它们才能对症下药：
第一，权重与激活的数值范围截断。 将 FP32 张量映射到 INT8 时，需要确定一个截断范围 [a, b]，超出范围的数值被饱和。如果范围选得太窄，大量离群值被截断，信息丢失；选得太宽，有效位减少，量化步长变大，小数值被“压平”。视觉模型中，激活值的分布往往具有长尾特性，尤其是经过 ReLU 或 SiLU 之后的特征图，少数通道可能存在极大值，直接按 min/max 定范围会导致整体精度下降。
第二，量化粒度与对称性选择。 Per-tensor 量化对整个张量使用一组 scale/zero-point，实现简单但精度损失大；Per-channel 量化对每个输出通道单独定标，精度更好，但需要推理引擎支持。对称量化 zero-point 固定为 0，适合权重；非对称量化能更好拟合激活的非负分布。选择哪种组合，直接影响卷积、深度可分离卷积、注意力模块的量化表现。
第三，敏感层与结构差异。 并非所有层对量化同样敏感。第一层卷积、最后一层检测头、残差相加分支、LayerNorm、Softmax、以及 Transformer 中的注意力矩阵，通常对量化更敏感。以 YOLO 系列为例，检测头的分类与回归分支若被粗暴量化，小目标召回率会明显下降；而骨干网络中间的普通 3×3 卷积往往可以承受 INT8。因此，实际工程中常采用混合精度量化：敏感层保留 FP16 或 FP32，其余层 INT8。
端到端工作流
一个完整的视觉模型量化部署流程，可以概括为“基线建立 → 量化准备 → 量化执行 → 精度修复 → 部署验证”五个阶段，但它们不是单向流水线，而是带有回退箭头的迭代闭环。下图展示了这一工作流的关键对象、输入输出与判断关系：
课程项目说明
为了让上述工作流真正落地，本课程将围绕一个贯穿始终的项目展开：将 YOLOv8n 检测模型量化部署到 NVIDIA Jetson Orin Nano 与 x86 CPU 双平台。选择 YOLOv8n 的原因是它结构典型、算子覆盖全面（含 C2f、SPPF、检测头），且社区工具链成熟，便于对比不同量化路径。
项目将分阶段推进：首先在 COCO val2017 的一个 500 张子集上建立 FP32 基线，记录 mAP@0.5:0.95、单帧延迟、模型体积；然后使用 ONNX Runtime 做 PTQ 量化，观察逐层相似度，找出敏感层；接着对敏感层采用 FP16 回退，其余层 INT8，形成混合精度方案；最后分别导出 TensorRT Engine 与 OpenVINO IR，在 Jetson 与 x86 上做端到端验证。每个阶段都要求保留可复现的配置、校准集清单与评估脚本，确保任何一次精度波动都能追溯到具体层或具体参数。