📚 课程目录第4章小型视觉模型概览

4、小型视觉模型概览：适合端侧部署的轻量级模型（如MobileNet、SqueezeNet、EfficientNet-Lite）的结构特点与性能对比

在TinyML图像分类任务中，模型的选择直接决定了端侧部署的成败。与云端GPU集群不同，微控制器（MCU）和低功耗边缘处理器通常只有几百KB到几MB的Flash存储、几十到几百KB的RAM，且CPU主频往往在几十MHz到几百MHz之间。这意味着，一个在服务器上表现优异的ResNet-50（约25MB参数）根本无法直接移植到端侧。本章将聚焦三类最具代表性的轻量级视觉模型——MobileNet系列、SqueezeNet、EfficientNet-Lite，从结构设计原理、计算瓶颈、性能权衡三个维度展开对比，并给出面向实际硬件约束的选型建议。

上图展示了三类模型在端侧部署时的核心对比维度。从结构设计哲学来看，MobileNet追求“用更少的乘法运算换取精度”，SqueezeNet追求“用极致的参数压缩换取存储空间”，而EfficientNet-Lite则试图在两者之间找到“复合缩放”的最优平衡点。下面我们逐一拆解其结构特点与工程适配性。

4.1 核心原理：三类轻量级模型的“瘦身”策略

MobileNet系列：深度可分离卷积（Depthwise Separable Convolution）是MobileNet的基石。传统标准卷积的计算量为：\( H \times W \times C_{in} \times C_{out} \times K \times K \)，而深度可分离卷积将其拆分为两步：先对每个输入通道单独执行 \( K \times K \) 的深度卷积（Depthwise Convolution），再用 \( 1 \times 1 \) 的逐点卷积（Pointwise Convolution）进行通道间的线性组合。这一拆分将计算量压缩至原来的 \( \frac{1}{K^2} + \frac{1}{C_{out}} \) 左右。以 \( 3 \times 3 \) 卷积为例，计算量约为标准卷积的 \( \frac{1}{9} \) 到 \( \frac{1}{8} \)。MobileNetV2进一步引入倒残差结构（Inverted Residual），先通过 \( 1 \times 1 \) 卷积升维，再执行深度卷积，最后用 \( 1 \times 1 \) 卷积降维，并在降维层不使用激活函数（Linear Bottleneck），从而避免低维空间中的信息丢失。MobileNetV3则结合了神经架构搜索（NAS）和Squeeze-and-Excitation（SE）注意力机制，进一步优化了激活函数（h-swish）和通道数分配。

SqueezeNet：Fire Module的设计思路截然不同。它由两层组成：Squeeze层使用 \( 1 \times 1 \) 卷积将输入通道数压缩（例如压缩到 \( C_{in}/4 \)），Expand层混合使用 \( 1 \times 1 \) 和 \( 3 \times 3 \) 卷积并行扩展通道。这种“先压缩再扩展”的策略大幅减少了直接使用 \( 3 \times 3 \) 卷积带来的参数冗余。SqueezeNet在ImageNet上达到与AlexNet相近的精度（约57.5% Top-1），但模型体积仅为AlexNet的1/50（约4.8MB，未量化时）。其核心优势在于参数总量极小，非常适合Flash存储小于1MB的MCU场景。

EfficientNet-Lite：复合缩放（Compound Scaling）是Google提出的系统化模型缩放方法。原始EfficientNet通过NAS搜索得到基础网络（B0），然后使用复合系数 \( \phi \) 同时缩放网络的深度（层数）、宽度（通道数）和输入分辨率。缩放公式为：\( depth = \alpha^{\phi} \)，\( width = \beta^{\phi} \)，\( resolution = \gamma^{\phi} \)，其中 \( \alpha \cdot \beta^2 \cdot \gamma^2 \approx 2 \)。EfficientNet-Lite是专为端侧（CPU/移动端）优化的变体，它移除了SE注意力模块（因为SE在CPU上计算效率不高），并调整了激活函数（使用ReLU而非Swish），从而在保持较高精度的同时，显著降低推理延迟。Lite系列从Lite0到Lite4，参数量从0.47M到5.3M不等，为不同算力等级的硬件提供了阶梯式选择。

4.2 判断方法：如何根据硬件约束选择模型

在实际的TinyML项目中，选择模型不能只看精度排行榜，必须将硬件资源视为“硬约束”。以下是具体的判断流程：

第一步：测量目标硬件的Flash和RAM预算。例如，STM32F746（Cortex-M7， 216MHz）通常有1MB Flash和320KB RAM；而更小的STM32L432（Cortex-M4， 80MHz）只有256KB Flash和64KB RAM。模型文件（权重+结构）必须能完整放入Flash，且推理时的中间特征图、激活值、临时缓冲区必须能放入RAM。
第二步：估算模型的参数量和激活内存峰值。参数量直接对应Flash占用（FP32下1个参数=4字节，INT8下=1字节）。激活内存峰值通常出现在第一个或最后一个大分辨率层，可通过公式 \( H \times W \times C_{out} \times 4 \)（FP32）粗略估算。
第三步：评估推理延迟。延迟主要由乘加操作数（MACs）决定。对于Cortex-M7（带DSP指令）运行INT8推理，大约每秒可执行1-2亿次MAC。若要求实时处理（如30FPS），则单帧MACs需控制在3-7M以内。
第四步：检查推理框架兼容性。TensorFlow Lite for Microcontrollers（TFLM）对MobileNetV1/V2支持最好，对EfficientNet-Lite的支持需确认算子（如深度卷积、h-swish）是否已实现。SqueezeNet的Fire Module在TFLM中实现简单，但需手动拼接。

实战选型清单（以TFLM为例）：
若Flash ≤ 300KB，RAM ≤ 100KB：优先考虑SqueezeNet（量化后约300KB）或MobileNetV1 α=0.25（量化后约250KB）。
若Flash 1MB，RAM 300KB：MobileNetV2 α=0.5（量化后约700KB）是均衡之选，精度比SqueezeNet高约5-8%。
若Flash ≥ 2MB，RAM ≥ 500KB：EfficientNet-Lite1或Lite2（量化后约1.2-1.8MB）可提供更高精度，但需确认TFLM支持MBConv结构。

4.3 案例拆解：在Cortex-M7上部署MobileNetV2 α=0.5

背景与约束：某工业视觉项目需要在STM32H743（Cortex-M7， 480MHz， 2MB Flash， 1MB RAM）上实现产品缺陷分类（10类）。要求：推理时间 < 100ms，模型文件 < 1.5MB，RAM占用 < 500KB。

初始目标与数据：团队最初尝试直接部署MobileNetV2 α=1.0（FP32），发现模型文件3.5MB，超出Flash预算；且单次推理耗时280ms，远超实时性要求。关键瓶颈在于：FP32权重占用过大，且标准卷积在无SIMD优化的TFLM上效率较低。

分析判断过程：通过Profiling发现，耗时主要集中在第一个标准卷积层（输入224×224×3，输出112×112×32）和最后的全连接层。进一步分析，α=1.0的模型MACs约300M，而α=0.5的模型MACs约75M，理论上可提速4倍。同时，将权重从FP32量化为INT8，Flash占用可降至原来的1/4。

实际操作步骤：

使用TensorFlow Model Optimization Toolkit对MobileNetV2 α=0.5进行全整型量化（Post-Training Quantization），校准数据集选用100张代表性缺陷图片。
将量化后的TFLite模型（约700KB）转换为C字节数组，集成到STM32工程中。
在TFLM中启用CMSIS-NN优化（ARM的Cortex-M优化内核），并调整arena大小至400KB。
将输入分辨率从224×224降至160×160（通过调整预处理缩放），进一步减少MACs至约38M。

结果对比：量化后模型精度从92.1%降至89.7%（下降2.4%，在可接受范围内）。推理时间从280ms降至68ms（满足<100ms要求）。Flash占用700KB（满足<1.5MB），RAM峰值约380KB（满足<500KB）。

风险与代价：量化过程中发现第3个深度卷积层对量化敏感，导致个别类别精度下降明显。解决方案是对该层使用部分量化（保留FP32），代价是Flash增加约50KB，推理时间增加5ms。最终在精度与资源间取得平衡。

复盘经验：端侧部署不是简单的“模型替换”，而是“模型-硬件-量化-算子”四者的联合调优。建议在项目初期就建立硬件在环（HIL）测试环境，避免后期返工。

4.4 常见误区与总结复盘

误区一：只看参数量，忽略MACs。参数量决定Flash占用，但MACs决定推理延迟。SqueezeNet参数量虽小，但其Fire Module中3×3卷积的MACs并不低，在无DSP指令的MCU上可能比MobileNetV1 α=0.25更慢。

误区二：盲目追求最高精度。在TinyML场景中，精度与资源是强对立关系。EfficientNet-Lite4精度虽高，但其5.3M参数在多数MCU上无法部署。建议先确定硬件上限，再选择该上限内精度最高的模型。

误区三：忽略输入分辨率的影响。降低输入分辨率是减少MACs最直接的手段。例如，将224×224降至128×128，MACs减少约67%，但精度可能下降3-5%。应通过实验找到精度-延迟的帕累托最优解。

误区四：量化后不验证。INT8量化在边缘设备上可能引起精度骤降，尤其是对含有BatchNorm层或深度卷积的模型。务必使用真实校准数据集，并逐层检查量化误差。

关键提醒：在选型时，请务必查阅目标推理框架（如TFLM、Edge Impulse、STM32Cube.AI）的算子支持列表。例如，EfficientNet-Lite中的h-swish激活函数在旧版TFLM中可能未实现，需要手动添加自定义算子，这会显著增加工程复杂度。建议优先选择框架原生支持的模型结构。

总结：三类模型各有适用边界。SqueezeNet适合存储极度受限（<300KB）且对精度要求不高的场景；MobileNetV2 α=0.5是通用场景的“万金油”，在1MB Flash级别硬件上表现均衡；EfficientNet-Lite则适合Flash≥2MB且追求更高精度的场景。最终选型应基于硬件实测数据，而非纸面参数。建议在项目启动时，用本章的对比框架快速筛选出2-3个候选模型，再通过量化感知训练和硬件在环测试确定最终方案。