课程导入：学习目标、适用人群、课程结构、PTQ量化在部署中的重要性

深度学习模型从训练到部署，通常要经历一个关键的“瘦身”过程——模型量化。在边缘计算、移动端推理和自动驾驶等实时性要求极高的场景中，FP32精度的模型往往因为内存带宽和计算延迟的瓶颈而难以落地。PTQ（Post-Training Quantization，训练后量化）作为一种无需重新训练即可压缩模型的技术，已经成为工业界部署的首选方案。然而，PTQ并非简单的“将float32转成int8”的机械操作，其核心难点在于如何为每一层网络确定合适的scale（缩放因子）和zero-point（零点）。这两个参数直接决定了量化误差的分布，进而影响最终模型的精度。本课程将聚焦于PTQ量化中scale与zero-point的检查方法、误差定位技巧以及实战调优策略，帮助学员真正掌握量化部署中的“最后一公里”。

上图展示了PTQ量化部署的完整链路。从FP32预训练模型出发，借助校准数据集统计激活值的分布范围，进而计算出每层的scale和zero-point。量化参数检查与误差定位是确保部署精度的重要环节，当量化后模型精度下降超过预期时，需要回溯到量化参数的计算过程，定位到具体是哪一层、哪个张量引入了过大误差。本课程将围绕这一核心链路，系统讲解量化参数的原理、检查方法与调优实战。

1.1 学习目标：从“能跑”到“跑得准”

本课程的学习目标分为三个层次，层层递进。第一层次是理解原理：掌握scale和zero-point的数学定义、对称量化与非对称量化的区别，以及它们如何影响量化误差的分布。第二层次是掌握检查方法：能够使用工具（如PyTorch的torch.quantization、TensorRT的Polygraphy、ONNX Runtime的量化工具）查看每一层的量化参数，并判断其是否合理。第三层次是具备误差定位与调优能力：当量化模型精度下降时，能够通过逐层对比、敏感层分析、校准数据集优化等手段，快速定位问题层并采取针对性的解决方案（如混合精度、per-channel量化、调整校准策略等）。

1.2 适用人群：谁需要这门课？

本课程主要面向三类人群。第一类是算法工程师，他们训练出高精度的模型，但在部署到边缘设备时发现量化后精度骤降，需要掌握量化参数调整的方法。第二类是部署/推理优化工程师，他们负责将模型转换到TensorRT、RKNN、OpenVINO等平台，需要深入理解底层量化机制，以便在精度与速度之间取得最佳平衡。第三类是嵌入式软件开发工程师，他们在硬件上实现推理引擎，需要了解量化参数如何影响硬件计算单元的效率（例如，zero-point不为0时，硬件需要额外的加法运算）。

对于学员的基础要求，建议具备以下知识储备：熟悉Python编程、了解深度学习基本概念（卷积、全连接、激活函数）、对数值表示（定点数、浮点数）有基本认知。如果学员有模型部署经验，学习效果会更佳，但并非必需。

1.3 课程结构：从原理到实战的完整路径

本课程共30章，分为四大模块。模块一（第1-5章）为基础原理篇，讲解量化数学基础、scale与zero-point的计算方法、对称/非对称量化、per-tensor与per-channel量化。模块二（第6-15章）为检查与诊断篇，重点介绍如何检查量化参数的正确性、如何通过统计工具分析激活值分布、如何识别潜在的溢出与截断风险。模块三（第16-25章）为误差定位与调优篇，涵盖逐层敏感度分析、混合精度量化、校准数据集优化、量化感知训练（QAT）与PTQ的对比等高级主题。模块四（第26-30章）为工程实战篇，针对TensorRT、TFLite、RKNN等主流部署框架进行案例剖析，并分享工业界的排障经验。

模块	章节范围	核心内容	实战产出
基础原理	第1-5章	量化数学、scale/zero-point计算、对称/非对称	手写量化参数计算脚本
检查与诊断	第6-15章	参数检查、分布统计、溢出检测、工具使用	量化参数检查报告模板
误差定位与调优	第16-25章	敏感层分析、混合精度、校准优化、QAT对比	误差定位流程图与调优方案
工程实战	第26-30章	TensorRT/RKNN/TFLite案例、排障经验	完整部署项目复盘

1.4 PTQ量化在部署中的重要性：为什么非做不可？

在深度学习模型部署的现实中，PTQ量化不是“可选项”，而是“必选项”。以一张典型的1080p输入图像为例，一个ResNet-50模型在FP32精度下需要约97MB的内存存储权重，而转换为INT8后仅需约24MB，内存占用减少75%。更重要的是推理速度的提升：在大多数现代CPU和NPU上，INT8计算单元的面积和功耗远低于FP32，吞吐量可提升2-4倍。对于自动驾驶、工业质检等实时性要求高的场景，这种速度提升是决定性的。

然而，PTQ的“训练后”特性也带来了挑战。由于不进行反向传播微调，量化误差完全依赖于校准阶段对激活值分布的估计。如果校准数据集选择不当，或者scale计算策略过于激进（例如直接使用min/max范围），就会导致量化后的模型精度大幅下降。这正是本课程存在的意义——帮助学员理解scale与zero-point的细微差别，掌握误差定位的系统方法，让PTQ从“碰运气”变成“可预测、可控制”的工程过程。

1.5 案例拆解：一个典型的PTQ精度下降问题

为了让大家对课程内容有直观感受，我们来看一个典型的工程案例。某安防团队将一个YOLOv5s检测模型部署到海思Hi3516DV300芯片上，使用PTQ将模型从FP32转为INT8。转换后，mAP从0.742下降至0.531，降幅高达28.4%，远超可接受的5%阈值。

初始排查时，团队怀疑是校准数据集不够，于是将校准图片从200张增加到1000张，但mAP仅回升至0.558，效果甚微。随后，他们使用本课程将要教授的逐层余弦相似度分析方法，发现第17层（一个输出通道数为128的卷积层）的余弦相似度仅为0.82，远低于其他层的0.95以上。进一步检查该层的scale值，发现其数值异常小（仅为0.0003），而激活值的实际范围在-1.5到1.5之间。这说明scale计算时被极小值主导，导致量化步长过小，大量数值被截断为0。

问题的根源在于该层激活值分布存在长尾效应，而校准算法（默认使用min/max）对异常值过于敏感。团队将校准策略改为百分位法（99.99%），并针对该层启用了per-channel量化。调整后，该层余弦相似度提升至0.97，整体mAP回升至0.718，满足了项目验收标准。整个排查过程耗时2天，其中大部分时间花在了量化参数的可视化与对比分析上。