2、TinyML视觉基础：掌握TinyML中图像分类、目标检测的基本流程与常用模型（如MobileNet、SqueezeNet）
TinyML视觉任务的核心挑战在于：在内存可能不足1MB、Flash存储仅数百KB、算力仅为数十至数百MOPS（每秒百万次操作）的微控制器上，完成对图像的语义理解。与云端视觉不同，TinyML视觉不是简单地将大模型“压缩”，而是从数据采集、模型选型、量化部署到推理优化，形成一套面向资源约束环境的完整工程链路。本章将系统梳理图像分类与目标检测在TinyML场景下的基本流程，深入剖析MobileNet与SqueezeNet两类轻量级模型的架构原理与适用边界，并通过一个实际案例展示从模型选型到部署的完整闭环。
2.1 图像分类与目标检测的核心原理
图像分类解决的是“这张图像中有什么”的问题。在TinyML场景下，分类器接收固定尺寸的图像张量（例如96×96×3），通过卷积神经网络提取层次化特征，最终由全连接层或全局平均池化层输出一个长度为类别数的概率向量。其数学本质是学习一个从高维像素空间到低维语义空间的非线性映射。关键设计约束在于：模型参数量必须与微控制器的Flash容量匹配，而中间激活值（Feature Map）大小则决定了RAM的峰值占用。
目标检测则更进一步，需要回答“图像中哪里有目标，是什么目标”。它同时输出目标的类别标签和位置边界框。在TinyML环境中，主流方案分为两类：两阶段检测器（如Faster R-CNN）因计算量过大几乎不适用；单阶段检测器（如Tiny-YOLO、SSD）通过预定义锚框（Anchor Box）或网格划分，在单次前向传播中直接回归边界框偏移量和类别概率。以YOLO为例，若输入图像为96×96，划分为6×6网格，每个网格预测3个锚框，则输出张量维度为6×6×3×(5+类别数)。这种密集预测方式对内存带宽要求较高，因此TinyML目标检测通常需要更小的输入分辨率（如64×64或80×80）以及更激进的量化策略。
2.2 TinyML视觉任务的标准流程
一个完整的TinyML视觉项目通常遵循以下六个阶段，每个阶段都有特定的工具链和验证方法：
- 数据采集与标注：使用开发板摄像头（如OV2640、OV7670）采集原始图像，分辨率建议控制在QVGA（320×240）以下。对于分类任务，每类至少需要500-1000张样本；检测任务则需要标注边界框（Pascal VOC或COCO格式）。关键点：必须模拟实际部署环境的光照、角度和背景变化，否则模型在真实场景中会出现严重的域偏移。
- 预处理与数据增强：将图像缩放到模型输入尺寸（如96×96），转换为RGB888或RGB565格式。数据增强包括随机亮度调整（±20%）、随机旋转（±15°）、随机裁剪、高斯噪声等。在TinyML中，增强操作通常在PC端完成，因为MCU端无法承担实时增强的计算开销。
- 模型选型与构建：根据任务复杂度选择骨干网络。对于10类以内的简单分类，SqueezeNet或MobileNetV1（宽度乘数α=0.25）即可；对于检测任务，可选用Tiny-YOLOv3或SSD-Lite-MobileNetV2。使用TensorFlow/Keras或PyTorch构建模型，并加载ImageNet预训练权重进行迁移学习。
- 训练与验证：在PC端使用GPU训练模型，冻结骨干网络前几层，只微调最后几层。训练时需监控验证集准确率，防止过拟合。对于TinyML，训练后的模型参数量应控制在1-5MB（float32），以便后续量化。
- 量化与压缩：将float32权重转换为int8或int16。TensorFlow Lite提供了后训练量化（PTQ）和量化感知训练（QAT）两种方式。PTQ简单但可能损失1-3%精度；QAT在训练时模拟量化误差，精度损失可控制在0.5%以内。此外，还可以进行权重剪枝（移除接近零的权重）和知识蒸馏（用小模型学习大模型的软标签）。
- 部署与优化：将量化后的.tflite文件转换为C++字节数组，集成到嵌入式工程中。使用TFLite Micro解释器或直接调用CMSIS-NN算子库（ARM Cortex-M系列）。优化手段包括：内存池复用（避免动态分配）、算子融合（如Conv+ReLU+Pool合并）、使用SIMD指令（如ARM的DSP扩展）。
| 阶段 | 关键工具 | 输出物 | 验证指标 |
|---|---|---|---|
| 数据准备 | OpenCV, LabelImg | TFRecord / CSV | 样本数量、类别均衡度 |
| 模型训练 | TensorFlow / Keras | float32模型 | 验证集准确率 / mAP |
| 量化压缩 | TFLite Converter | int8 .tflite | 量化后精度、模型大小 |
| 嵌入式部署 | TFLite Micro, CMSIS-NN | C++数组 / 静态库 | 推理延迟、RAM峰值 |
| 系统集成 | STM32CubeMX, Arduino | 固件 | 端到端帧率、功耗 |
2.3 常用轻量级模型深度解析
MobileNet系列的核心创新是深度可分离卷积（Depthwise Separable Convolution）。它将标准卷积分解为两个步骤：首先，深度卷积（Depthwise Conv）对每个输入通道独立应用一个空间滤波器（3×3），不跨通道混合信息；然后，逐点卷积（Pointwise Conv）使用1×1卷积核将深度卷积的输出投影到新的通道空间。这种分解将计算量从K×K×C_in×C_out×H×W降低到K×K×C_in×H×W + C_in×C_out×H×W，计算量约为标准卷积的1/8至1/9。MobileNetV1引入了宽度乘数α（0.25、0.5、0.75、1.0）来控制通道数，α=0.25时模型仅0.5MB（float32），非常适合MCU。MobileNetV2在此基础上增加了线性瓶颈（Linear Bottleneck）和倒残差结构（Inverted Residual），先用1×1卷积升维，再用深度卷积提取特征，最后用1×1卷积降维，并在残差连接中跳过瓶颈层。这种设计在保持精度的同时进一步减少了内存访问成本。
SqueezeNet则采用了完全不同的策略——Fire Module。Fire Module由两部分组成：Squeeze层（1×1卷积，将通道数压缩到输入的1/4至1/8）和Expand层（混合使用1×1和3×3卷积，分别输出到两个分支，然后拼接）。Squeeze层通过降低通道数来减少后续3×3卷积的输入维度，从而大幅降低参数量。SqueezeNet 1.1在ImageNet上达到AlexNet级别的精度，但参数量仅为AlexNet的1/50（约1.2MB）。在TinyML场景中，SqueezeNet的优势在于其模型文件极小，适合Flash容量受限（<1MB）的设备，但其推理速度通常慢于MobileNet，因为Fire Module中的3×3卷积无法充分利用深度可分离卷积的加速效果。
2.4 实战案例：基于MobileNetV1的工业零件分类
背景与约束：某工厂需要检测传送带上的金属零件（螺栓、垫片、螺母、弹簧），使用STM32F746开发板（Cortex-M7，216MHz，512KB RAM，1MB Flash），摄像头为OV2640，要求分类准确率≥95%，推理帧率≥10 FPS。
初始现象：直接使用MobileNetV1 α=0.5模型，float32权重1.3MB，超出Flash容量；且推理延迟高达380ms/帧，远低于10 FPS目标。
分析过程：首先，模型大小超标是因为float32权重过大，需量化为int8（理论缩小4倍至325KB）。其次，推理延迟高的原因在于：输入分辨率128×128导致中间激活值过大（RAM峰值约280KB），且未使用CMSIS-NN优化算子。进一步分析发现，全连接层参数量占模型总量的60%，但贡献的FLOPs仅占5%，属于冗余结构。
优化步骤：
- 将输入分辨率从128×128降至96×96，激活值RAM峰值降至约160KB。
- 将全连接层替换为全局平均池化+1×1卷积，参数量减少至原来的1/10。
- 使用TensorFlow Lite的PTQ量化，校准集为500张验证图像，量化后精度从98.2%降至96.8%，仍满足要求。
- 在STM32工程中启用CMSIS-NN的
arm_convolve_HWC_q7_fast函数，并开启编译器-O3优化。
结果对比：优化后模型大小从1.3MB降至98KB（int8），推理延迟从380ms降至72ms（约14 FPS），RAM峰值从280KB降至145KB。最终在传送带实测中，对光照变化（±30%）和角度偏移（±20°）的鲁棒性良好，准确率96.2%。
2.5 常见误区与总结复盘
误区一：盲目追求高精度模型。在TinyML中，精度与资源消耗呈强相关。一个在ImageNet上达到80% Top-1的模型，在MCU上可能无法运行；而一个专门针对特定场景训练的轻量模型，即使只有70%的ImageNet精度，在目标域上也能达到95%以上。正确做法是：先定义部署约束（RAM/Flash/延迟），再反推模型容量。
误区二：忽略数据分布匹配。很多开发者使用公开数据集（如CIFAR-10）训练模型，但实际部署环境的光照、镜头畸变、背景纹理与训练数据差异巨大。这导致模型在实验室测试中表现良好，一到现场就崩溃。解决方案是：在部署现场采集至少20%的训练数据，并加入随机噪声、模糊、亮度抖动等增强。
误区三：将量化视为“免费午餐”。int8量化虽然能减少4倍内存和2-3倍延迟，但会引入量化噪声。特别是在检测任务中，边界框回归的微小误差可能导致IoU显著下降。建议对检测模型使用QAT，并针对每个输出头（分类头、回归头）单独设置量化范围。
误区四：忽视后处理开销。目标检测的NMS算法在PC上毫秒级完成，但在MCU上可能需要数十毫秒。如果检测目标数量较多（>10个），NMS可能成为瓶颈。优化方法包括：限制最大检测框数量、使用快速排序替代冒泡排序、或将NMS简化为贪心策略。
总结：TinyML视觉的本质是在“资源-精度-速度”三角中寻找平衡点。掌握MobileNet和SqueezeNet的架构差异，理解量化与部署的工程细节，并通过系统化的流程验证，才能构建出真正可落地的嵌入式视觉系统。在实际项目中，建议从最简单的模型（如MobileNetV1 α=0.25）开始，逐步增加复杂度，每一步都进行硬件在环测试，避免“最后一公里”的集成风险。