课程导入：TinyML与INT8量化概述
TinyML是机器学习与嵌入式系统交叉领域中最具工程落地价值的方向之一，其核心挑战在于：如何在仅有数百KB Flash、数十KB RAM的MCU上运行神经网络推理。以STM32F746（Cortex-M7，主频216MHz，Flash 1MB，RAM 320KB）为例，一个经典的MobileNetV1图像分类模型权重约16MB，远超片上存储容量。即便勉强存入外部Flash，浮点推理速度也往往低于1 FPS，无法满足实时性要求。INT8量化正是解决这一矛盾的关键技术——通过将FP32权重和激活值映射到8位整数域，模型体积可压缩至原来的1/4，推理速度提升2~4倍，而精度损失通常控制在1%~3%以内。本章作为整个实战课程的起点，将系统梳理TinyML与INT8量化的基本概念、课程学习路径、实战环境准备方法，并重点剖析"校准"这一决定量化精度的核心环节。
1.1 TinyML与INT8量化的核心原理
TinyML的本质是"在资源受限设备上运行机器学习推理"。与云端AI不同，TinyML设备通常没有GPU、没有大容量内存、没有持续供电保障，甚至没有操作系统。这意味着模型必须足够小、推理必须足够快、功耗必须足够低。INT8量化正是从模型压缩和计算加速两个维度同时满足这些约束的关键技术。
INT8量化的数学本质是一个仿射变换：将浮点数范围 [min, max] 映射到整数范围 [-128, 127]（有符号）或 [0, 255]（无符号）。其核心公式为：
量化公式：q = round(r / scale) + zero_point
反量化公式：r = scale * (q - zero_point)
其中 scale = (max - min) / (q_max - q_min)
zero_point = q_min - round(min / scale)在实际工程中，量化分为两种模式：训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。本课程聚焦PTQ，因为它不需要重新训练模型，适合已有模型的快速部署。PTQ又分为仅权重量化（Weight-only）和全整数量化（Full Integer），后者需要校准数据集来统计激活值的动态范围。
1.2 课程目标与学习路径
本课程的目标是让学员掌握一套完整的INT8量化精度对比方法论，能够独立完成从FP32模型到INT8模型的转换、校准、精度评估和部署优化。具体而言，完成本课程后，学员将能够：
- 理解量化原理：掌握scale、zero_point、对称/非对称量化、per-tensor/per-channel量化等核心概念。
- 熟练使用工具链：能够使用TensorFlow Lite Converter、ONNX Runtime、STM32Cube.AI等工具完成模型转换。
- 设计校准流程：能够根据模型类型和数据集特点，选择合适的校准算法（MinMax、KL散度、百分位等）和校准样本数量。
- 进行精度对比：能够建立科学的评估体系，对比FP32与INT8模型在准确率、混淆矩阵、单类精度等维度的差异。
- 定位精度损失：能够通过逐层分析、敏感度分析等方法，定位导致精度下降的关键层，并采取针对性优化。
课程学习路径分为五个阶段，每个阶段都有明确的交付物和验收标准：
| 阶段 | 核心内容 | 实战交付物 | 验收标准 |
|---|---|---|---|
| 第一阶段 | 环境搭建与工具链验证 | 可运行的TFLite转换脚本 | 成功将1个示例模型转为INT8 |
| 第二阶段 | 基准模型训练与评估 | FP32模型+评估报告 | Top-1准确率≥90%（以CIFAR-10为例） |
| 第三阶段 | 直接量化与问题发现 | 未校准INT8模型+精度报告 | 记录精度下降幅度，定位问题层 |
| 第四阶段 | 校准量化与参数调优 | 校准后INT8模型+对比报告 | 精度损失≤2%，推理速度提升≥2x |
| 第五阶段 | 部署与硬件验证 | MCU端运行Demo | 在STM32F746上实现实时推理 |
1.3 实战环境准备
工欲善其事，必先利其器。本课程所有实战内容均基于以下环境，建议学员在课程开始前完成全部安装和验证。我们推荐使用Python 3.8~3.10版本，避免因版本过新导致部分依赖库不兼容。
1.3.1 软件环境清单
# 基础环境
Python 3.8+ / pip / virtualenv 或 conda
# 深度学习框架
TensorFlow 2.8~2.12（推荐2.10，稳定性最佳）
PyTorch 1.10+（用于部分模型转换对比）
# 模型转换与推理
tflite-runtime 2.x（轻量级推理）
onnxruntime 1.13+（ONNX模型转换）
ai-edge-litert（Google最新TFLite替代）
# 嵌入式部署工具
STM32Cube.AI 8.1+（STM32模型转换）
CMSIS-NN（ARM Cortex-M优化推理库）
# 可视化与调试
matplotlib / jupyter notebook / tensorboardpython -c "import tensorflow as tf; print(tf.__version__); print(tf.lite.TFLiteConverter)"1.3.2 硬件环境说明
本课程以STM32F746G-DISCO开发板为主要部署目标，该板卡搭载Cortex-M7内核，主频216MHz，内置1MB Flash和320KB RAM，是TinyML教学的经典平台。如果学员没有该板卡，也可以使用以下替代方案：
- 树莓派Pico RP2040：双核Cortex-M0+，成本低，适合入门验证。
- ESP32-S3：带向量扩展的Cortex-M4，支持TFLite Micro。
- 纯软件模拟：使用QEMU模拟Cortex-M环境，适合无硬件条件的学员。
需要特别说明的是，本课程的核心——校准前后精度对比——在纯软件环境下即可完成。硬件部署是最终验证环节，即使没有板卡，也不影响前四个阶段的学习。
1.4 校准前后精度对比的实战场景拆解
为了帮助学员建立直观认知，我们以一个具体的图像分类任务为例，展示校准前后INT8量化的精度差异。该案例将贯穿整个课程，后续章节会逐步深入。
案例背景：使用CIFAR-10数据集（10类，32x32彩色图像），训练一个简化版ResNet-18模型。训练集50000张，测试集10000张。在FP32精度下，模型Top-1准确率为92.3%。我们的目标是将模型转换为INT8并部署到STM32F746上，要求精度损失不超过2%。
初始现象：直接使用TFLite Converter的默认设置（即不提供代表性数据集）进行INT8转换，转换后模型在测试集上的Top-1准确率骤降至78.6%，精度损失高达13.7%。这一结果显然无法接受。
关键数据对比：
| 评估指标 | FP32模型 | INT8（未校准） | INT8（校准后） |
|---|---|---|---|
| Top-1准确率 | 92.3% | 78.6% | 90.8% |
| Top-5准确率 | 98.1% | 91.2% | 97.6% |
| 模型大小 | 42.8 MB | 10.7 MB | 10.7 MB |
| 推理延迟（STM32） | 无法运行 | 385 ms | 385 ms |
分析判断过程：未校准量化导致精度大幅下降的根本原因在于：默认量化范围使用了权重的最小/最大值，而激活值的实际分布范围远小于权重范围。以第一个卷积层为例，其激活值在FP32下的实际分布为[-2.1, 3.8]，但默认量化范围被设置为[-11.2, 12.5]（权重范围），导致激活值在量化时大量集中在少数几个整数级别上，信息严重丢失。
实际操作步骤：我们使用500张训练集图像作为校准数据集，采用KL散度算法计算每层激活值的最优量化范围。KL散度算法的核心思想是：寻找一个阈值T，使得原始FP32分布与量化后INT8分布在KL散度意义上最接近。经过校准后，第一个卷积层的量化范围被调整为[-2.5, 4.0]，激活值的量化分辨率显著提升。
结果对比：校准后模型Top-1准确率回升至90.8%，精度损失仅1.5%，满足部署要求。同时，模型大小压缩至原来的1/4，推理延迟385ms，在STM32F746上可实现约2.6 FPS的推理速度，基本满足实时性要求。
1.5 常见误区与总结复盘
在TinyML INT8量化的学习与实践中，学员常陷入以下误区，这里逐一澄清：
- 误区一：量化就是简单的类型转换。实际上，量化是一个信息有损压缩过程，需要精心设计量化参数和校准策略。直接转换往往导致精度大幅下降。
- 误区二：校准样本越多越好。校准样本过多会增加校准时间，且可能引入冗余信息。实验表明，100~500张代表性样本通常足够。关键在于样本的多样性而非数量。
- 误区三：所有层都适合per-tensor量化。对于权重分布差异较大的层（如深度可分离卷积），per-channel量化能显著提升精度，但会增加计算复杂度。需要根据实际精度损失情况权衡。
- 误区四：精度对比只看Top-1准确率。对于目标检测、语义分割等任务，还需要关注mAP、IoU等指标。即使Top-1准确率接近，某些类别的精度可能严重退化。
- 误区五：校准后模型无需验证。校准只是量化流程的一步，必须使用独立的测试集（而非校准集）进行最终评估，避免过拟合校准数据。