2、TinyML基础：嵌入式机器学习原理、模型压缩技术（量化、剪枝、蒸馏）与硬件选型
TinyML 的本质，是在功耗、算力、内存均受严格约束的嵌入式设备上，让机器学习模型能够实时运行并完成推理任务。它并非简单地将云端模型“缩小”后塞进单片机，而是一套从模型设计、压缩优化到硬件适配的系统工程方法论。理解其核心原理与工程约束，是后续开展视觉、语音、控制与安全联调的前提。本章将围绕嵌入式机器学习的运行机制、三大主流模型压缩技术（量化、剪枝、蒸馏）以及硬件选型决策展开，帮助你在“算法精度”与“物理资源”之间找到工程平衡点。
2.1 嵌入式机器学习原理：从云端到边缘的范式迁移
传统机器学习部署路径通常为“云端训练、云端推理”，模型运行在具备强大GPU和充足内存的服务器上。而嵌入式机器学习则要求模型在本地设备完成推理，这意味着数据无需上传云端，从而降低延迟、保护隐私并减少带宽依赖。其核心原理可概括为：在资源受限的硬件上，通过模型压缩与硬件协同设计，使神经网络的前向推理过程（即权重矩阵乘法、激活函数计算、池化等操作）能够以可接受的精度损失换取可接受的资源开销。
嵌入式推理的典型流程包括：传感器数据采集（如摄像头帧、麦克风音频）、预处理（归一化、降采样）、特征提取（由模型自动完成）、分类或回归输出。整个过程要求模型权重和中间激活值必须存放在有限的SRAM或Flash中。例如，一个典型的卷积神经网络模型若以FP32格式存储，其权重可能占用数MB空间，而主流MCU的Flash通常只有512KB至2MB，SRAM则仅有256KB左右。因此，模型压缩不是可选项，而是必选项。
2.2 模型压缩技术：量化、剪枝与知识蒸馏
模型压缩技术是TinyML落地的核心支撑。三种主流技术分别从数值表示、网络结构和知识迁移三个维度降低模型复杂度。下表对比了它们的基本原理、压缩效果与典型适用场景：
| 压缩技术 | 核心原理 | 压缩比参考 | 精度影响 | 硬件友好度 |
|---|---|---|---|---|
| 量化 | 降低权重/激活值的位宽（FP32→INT8/INT4） | 4x~16x | 低（需校准） | 极高（支持整数运算） |
| 剪枝 | 移除不重要的权重或神经元连接 | 2x~10x（稀疏化） | 中（需微调） | 中（需稀疏推理库） |
| 知识蒸馏 | 用小模型模仿大模型的输出分布 | 模型结构缩小 | 低（训练阶段） | 高（小模型更易部署） |
2.2.1 量化：从浮点到整数的工程跃迁
量化是将神经网络中的权重和激活值从32位浮点数（FP32）映射到低比特整数（如INT8、INT16）的过程。其数学本质是：real_value = scale * (quantized_value - zero_point)。其中scale（缩放因子）和zero_point（零点）是校准过程中确定的参数。在嵌入式平台上，INT8运算通常比FP32快2-4倍，且内存占用减少4倍。
实际操作中，量化分为训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。PTQ无需重新训练，只需使用少量校准数据集确定量化参数，但精度损失可能较大；QAT在训练过程中模拟量化误差，使模型权重适应低比特表示，精度损失更小，但需要更多计算资源。对于TinyML项目，若模型精度余量充足，优先选择PTQ；若精度敏感，则需采用QAT。
# TensorFlow Lite 训练后量化示例（伪代码）
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen # 校准数据集
tflite_quant_model = converter.convert() # 生成INT8量化模型2.2.2 剪枝：剔除冗余连接
剪枝的核心思想是：神经网络中存在大量冗余参数，移除这些参数不会显著影响精度。剪枝分为结构化剪枝（移除整个滤波器或通道）和非结构化剪枝（移除单个权重）。结构化剪枝对硬件更友好，因为它能保持权重矩阵的规则形状，便于内存访问；非结构化剪枝则产生稀疏矩阵，需要专门的稀疏推理库支持。
剪枝流程通常为：训练稠密模型 → 评估权重重要性（如L1/L2范数） → 移除低重要性权重 → 微调恢复精度。迭代进行上述步骤，直到达到目标压缩比。在TinyML场景中，剪枝常与量化结合使用：先剪枝减少计算量，再量化减少存储量。
2.2.3 知识蒸馏：向小模型迁移“暗知识”
知识蒸馏通过让一个小模型（学生）学习大模型（教师）的软输出（Soft Labels，即类别概率分布）来提升小模型性能。相比直接使用硬标签（Hard Labels），软输出包含了类别间的相似性信息（例如“猫”和“狗”的概率分布），这被称为“暗知识”。蒸馏损失函数通常为：L = α * L_hard + (1-α) * L_soft，其中L_soft使用温度参数T软化教师模型的输出概率。
在TinyML中，蒸馏通常作为模型设计的前置步骤：先训练一个高精度大模型，再蒸馏出一个小模型，最后对小模型进行量化和剪枝。这种组合策略往往能获得比单独使用压缩技术更好的精度-体积权衡。
2.3 硬件选型：MCU、MPU与NPU的权衡艺术
硬件选型决定了TinyML项目的性能上限与开发复杂度。选择时需综合考虑算力（MACs/s）、内存带宽、功耗预算、外设接口（如摄像头MIPI-CSI、麦克风I2S/PDM）以及软件生态成熟度。下表对比了常见硬件平台：
| 平台类型 | 代表芯片 | 算力 | 内存 | 功耗 | 适用场景 |
|---|---|---|---|---|---|
| MCU | STM32F4/H7、ESP32-S3 | 数十~数百MMACs/s | SRAM 256KB~1MB | <100mW | 关键词唤醒、简单手势识别 |
| MCU+NPU | STM32N6、i.MX RT1170 | 1~4 GMACs/s | SRAM 4MB+ | 100~500mW | 实时物体检测、人脸识别 |
| MPU+GPU/NPU | Raspberry Pi 5、Jetson Nano | 数十GMACs/s | LPDDR4 4~8GB | 2~10W | 复杂视觉SLAM、多模态融合 |
选型判断流程可归纳为：第一步，明确任务复杂度（分类任务数、输入分辨率、帧率要求）；第二步，估算模型计算量（MACs）与内存占用；第三步，匹配硬件算力与内存，预留30%余量；第四步，评估外设接口与开发工具链（如STM32Cube.AI、TensorFlow Lite Micro）。
2.4 实战案例：基于STM32N6的视觉唤醒与手势识别
本案例旨在展示如何将压缩技术与硬件选型结合，实现一个低功耗视觉唤醒系统。项目约束为：电池供电（功耗<150mW）、响应时间<100ms、识别3种手势。
初始方案与瓶颈：初始采用MobileNetV2（FP32）模型，权重14.2MB，在无NPU的MCU上推理延迟高达800ms，远超指标。经分析，瓶颈在于模型体积过大导致Flash读取频繁，且FP32运算效率低。
优化过程：
- 模型蒸馏：使用ResNet-50作为教师模型，蒸馏出MobileNetV2（宽度乘数0.5），参数量降至1.8MB，精度仅下降1.2%。
- 量化：采用QAT训练后，将模型量化为INT8，体积进一步降至450KB，推理延迟降至120ms。
- 剪枝：对最后三个卷积层进行结构化剪枝（移除30%滤波器），微调后精度恢复至98.5%，延迟降至85ms。
- 硬件迁移：将模型部署至STM32N6（集成NPU），利用其硬件加速，最终延迟稳定在35ms，功耗92mW。
结果对比：优化前模型体积14.2MB、延迟800ms；优化后体积450KB、延迟35ms，满足所有约束。复盘经验：蒸馏和量化是精度损失最小的压缩手段，应优先使用；剪枝适合在模型仍有冗余时使用；硬件NPU的引入是延迟达标的关键。
2.5 总结与工程复盘
本章核心要点可归纳为：嵌入式机器学习的本质是资源约束下的精度优化问题；量化、剪枝、蒸馏三种技术各有适用场景，组合使用效果最佳；硬件选型需综合算力、内存、功耗、外设与工具链。在实际项目中，建议遵循“先蒸馏缩小模型结构，再量化降低位宽，最后剪枝去除冗余”的优化顺序，并在每个阶段使用验证集评估精度损失。同时，务必在项目早期就确定目标硬件，因为不同硬件对压缩技术的支持程度差异显著（例如，部分NPU不支持稀疏矩阵加速）。