2、TinyML基础回顾：微控制器、边缘设备、模型压缩、量化、剪枝等核心概念

TinyML 的本质，是在功耗、存储、算力都极度受限的嵌入式硬件上，让机器学习模型能够实时运行。要设计公平的 Benchmark，首先必须理解这些硬件平台的“天花板”在哪里，以及软件层面的模型优化技术如何突破这些天花板。如果缺乏对微控制器（MCU）架构、内存层次、指令集特性以及量化/剪枝原理的清晰认知，后续的 Benchmark 指标设计、结果解读和平台对比都将失去根基。本章将系统梳理 TinyML 的硬件基础与模型优化核心概念，为后续 Benchmark 方法论打下坚实的知识底座。

2.1 微控制器与边缘设备：硬件平台的本质差异

核心原理：从架构看能力边界

微控制器（MCU）与边缘应用处理器（AP）之间的差异，不仅是性能数字的差距，更是体系结构设计哲学的分野。MCU 通常采用冯·诺依曼或哈佛架构，将 Flash（存储代码和常量）与 SRAM（存储运行时数据）物理分离。以典型的 Arm Cortex-M4 为例，其 FPU（浮点单元）为单精度，且没有内存管理单元（MMU），这意味着无法运行 Linux 等虚拟内存操作系统，通常直接运行裸机程序或 RTOS（如 FreeRTOS、Zephyr）。相比之下，边缘设备（如 Raspberry Pi、Jetson Nano）基于 Cortex-A 系列，具备 MMU、大容量 DDR 内存和完整的 Linux 内核，可以运行 PyTorch/TensorFlow 等完整框架。

这种架构差异直接决定了 Benchmark 的测试方法。在 MCU 上，模型通常被编译为 C 数组（如 TensorFlow Lite for Microcontrollers 的 model_data[]），推理过程完全离线，没有动态内存分配（或仅在初始化时分配一次）。而在边缘设备上，模型文件从磁盘加载，推理时可能涉及多线程调度、GPU 加速或 NPU 驱动调用。因此，一个公平的 Benchmark 必须明确区分“MCU 类平台”和“边缘设备类平台”，不能将两者的延迟数据直接对比——这就像比较自行车和摩托车的油耗一样没有意义。

判断方法：如何识别平台类别

在实际 Benchmark 设计中，可以通过三个关键特征快速判断目标平台属于哪一类：（1）是否具备 MMU——有 MMU 则几乎可以确定是边缘设备；（2）内存容量——SRAM 小于 1MB 且没有外部 DDR 接口的，属于 MCU；（3）操作系统——运行 Linux 的必然是边缘设备。此外，还要关注 MCU 是否带有 DSP 指令扩展（如 Cortex-M4 的 SIMD）或专用 NPU（如 Ethos-U55），这会显著影响模型优化策略的选择。

2.2 模型压缩核心概念：量化、剪枝与知识蒸馏

核心原理：为什么需要压缩

一个标准的 MobileNetV2 模型（输入 224×224）参数量约 3.4M，FP32 权重占用约 13.6MB，远超典型 MCU 的 1MB Flash 容量。即使勉强塞入 Flash，推理时的中间激活值（Feature Map）也可能超过 SRAM 容量。因此，模型压缩不是可选项，而是 TinyML 部署的前置条件。压缩技术主要分为三类：量化（降低数值精度）、剪枝（移除冗余参数）、知识蒸馏（从大模型学习小模型）。三者可以组合使用，但各自对硬件的影响不同。

量化：从 FP32 到 INT8 的工程实践

量化是将浮点权重和激活值映射到低比特整数（如 INT8、INT16）的过程。以 INT8 量化为例，核心公式为：

real_value = (int8_value - zero_point) × scale

其中 scale 是浮点缩放因子，zero_point 是整数零点偏移。在推理时，卷积运算可以通过整数乘加指令完成，然后使用 scale 进行反量化。TensorFlow Lite 提供两种量化路径：训练后量化（PTQ）——直接使用预训练模型，通过校准数据集统计激活值范围，无需重新训练，但可能损失 1~3% 精度；量化感知训练（QAT）——在训练过程中模拟量化误差，让模型自适应低比特表示，精度损失通常小于 1%。

在 Benchmark 中，量化带来的性能提升需要从三个维度衡量：模型体积（Flash 占用减少约 4 倍）、推理速度（整数运算通常比浮点快 2~4 倍，取决于 MCU 是否支持 DSP 指令）、内存占用（激活值以 INT8 存储，SRAM 需求降低）。但要注意，某些 MCU（如 Cortex-M0+）不支持硬件整数乘法累加加速，此时 INT8 量化的收益可能不如直接使用 FP32。

剪枝：结构化与非结构化的取舍

剪枝通过移除不重要的权重或通道来减小模型。非结构化剪枝将单个权重置零，产生稀疏矩阵，但需要专门的稀疏推理库才能加速，在 MCU 上通常难以实现。结构化剪枝则移除整个卷积核或通道，直接改变张量形状，可以无缝部署到任何硬件。例如，对 64 通道的卷积层剪掉 50% 通道后，输出通道变为 32，计算量直接减半。

剪枝的 Benchmark 指标包括：稀疏率（被移除参数的比例）、FLOPs 减少率、实际延迟降低率。但要注意，FLOPs 减少并不等于延迟降低——在 MCU 上，内存访问（加载权重和激活值）往往比计算更耗时。如果剪枝后通道数减少但内存布局未优化，可能无法获得预期的加速效果。

知识蒸馏：软标签的迁移

知识蒸馏让一个小模型（Student）学习大模型（Teacher）的输出分布。除了硬标签（one-hot），还使用 Teacher 的软标签（经过温度系数 T 平滑的 Softmax 输出），公式为：

L = α · L_hard + (1-α) · L_soft

其中 L_soft 使用温度 T 缩放后的 Teacher 输出作为目标。蒸馏后的 Student 模型通常比直接训练的小模型精度更高，但训练成本增加。在 Benchmark 中，蒸馏通常作为模型生成阶段的技术，不直接影响推理性能，但会影响最终模型的精度基线。

2.3 案例拆解：在 STM32F746 上部署量化+剪枝后的 KWS 模型

背景与约束：某智能语音门铃项目需要在 STM32F746（Cortex-M7 @ 216MHz，1MB Flash，320KB SRAM）上运行关键词识别（KWS）模型，识别“你好”和“关闭”两个词。原始模型为 DS-CNN（Depthwise Separable CNN），FP32 权重 450KB，单次推理延迟 380ms，SRAM 峰值 210KB。目标是将延迟降至 100ms 以内，Flash 占用小于 300KB。

初始现象与目标：直接部署 FP32 模型虽然 Flash 足够（450KB < 1MB），但 380ms 的延迟对交互体验不可接受。且 SRAM 峰值 210KB 已接近 320KB 上限，后续若增加唤醒词数量将溢出。

关键输入数据：使用 1000 条验证音频（含噪声）进行 PTQ 校准，量化位宽选择 INT8。剪枝策略采用通道级结构化剪枝，目标稀疏率 40%。

分析判断过程：首先，Cortex-M7 支持单精度 FPU，但整数 SIMD 指令（如 SMLAD）对 INT8 卷积加速明显。其次，DS-CNN 的深度可分离卷积中，逐通道卷积（Depthwise Conv）的计算密度低，内存访问瓶颈更突出，因此剪枝应优先作用于逐点卷积（Pointwise Conv）层。最后，PTQ 校准后精度从 96.2% 降至 94.8%，仍在可接受范围（>93%）。

实际操作步骤：

1. 使用 TensorFlow 对 DS-CNN 进行通道剪枝，设置稀疏率 40%，微调 5 个 epoch 恢复精度。
2. 将剪枝后的模型转换为 TFLite 格式，使用 1000 条校准数据执行 PTQ INT8 量化。
3. 使用 STM32CubeMX 生成工程，集成 CMSIS-NN 库，将 TFLite 模型转换为 C 数组。
4. 在开发板上使用 DWT 计数器（数据观察点与跟踪单元）测量推理延迟，通过 malloc 钩子监控 SRAM 峰值。

结果对比：

风险与代价：INT8 量化后精度下降 1.4%，在嘈杂环境下误唤醒率略有上升。剪枝过程需要额外微调，增加了训练时间约 2 小时。此外，CMSIS-NN 库对 INT8 卷积的优化依赖于 4 字节对齐的内存访问，若输入张量未对齐，性能会回退 30%。

复盘经验：（1）剪枝与量化组合使用效果最佳，单独使用剪枝仅获得 1.55 倍加速，而组合后达到 4.6 倍；（2）内存对齐是 MCU 上性能优化的隐形杀手，应在代码中显式使用 __ALIGNED(4) 修饰张量缓冲区；（3）Benchmark 必须记录编译优化级别（-O2 vs -O3）和 CMSIS-NN 版本，否则结果不可复现。

2.4 常见误区与总结复盘

总结：理解微控制器与边缘设备的架构差异，是设计公平 Benchmark 的前提。量化、剪枝、知识蒸馏是 TinyML 模型优化的三大支柱，但每种技术都有其适用的硬件场景和精度代价。在实际 Benchmark 中，应明确记录硬件型号、编译工具链、优化技术组合及关键参数（量化位宽、稀疏率、温度系数），确保结果的可复现性和可比性。下一阶段，我们将基于这些基础概念，构建具体的 Benchmark 指标体系与测试流程。