3. MobileViT模型原理：ViT vs CNN、核心模块与模型变体
好，咱们进入第三章。这一章我打算把MobileViT的模型原理讲透。说实话，我第一次看到这个模型的时候，心里就一个想法：这玩意儿怎么把CNN和Transformer揉到一起的？ 而且还能跑在手机上？
嗯，咱们一步步拆解。先搞清楚ViT和CNN到底差在哪，再看MobileViT的核心模块，最后聊聊它的几个变体。这样你移植的时候心里就有底了。
3.1 ViT vs CNN：两种视觉范式的碰撞
先问个问题：为什么MobileViT要结合CNN和Transformer？
我个人习惯把CNN比作「局部放大镜」。它通过卷积核，一点点扫描图像，提取边缘、纹理这些局部特征。你想想看，一个3x3的卷积核，一次就看9个像素。好处是计算快，参数少。坏处呢？视野太窄。要看到全局关系，得堆很多层。
ViT（Vision Transformer）就不一样了。它把图像切成一块块patch，然后像处理句子一样，用自注意力机制去捕捉patch之间的全局关系。说白了，ViT一上来就看全局。但代价呢？计算量爆炸。一张224x224的图，切成16x16的patch，也有196个，自注意力的复杂度是O(n²)。
我在项目中遇到过一个问题：用纯ViT做移动端分类，模型跑一次要2秒多。这谁受得了？
所以MobileViT的思路很聪明：用CNN做局部特征提取，用Transformer做全局关系建模。两者互补，既保留了CNN的高效，又获得了Transformer的全局视野。
核心区别总结：
- CNN：局部感受野，平移不变性，计算高效，但缺乏全局上下文
- ViT：全局感受野，动态权重，但计算量大，需要大量数据预训练
- MobileViT：CNN + Transformer混合，兼顾局部与全局，适合移动端
3.2 MobileViT核心模块：MobileNet块 + Transformer块
好，重点来了。MobileViT的核心模块就两个：MobileNet块和Transformer块。它们是怎么配合的？我画了张图，你看一眼就明白了。
3.2.1 MobileNet块：轻量级特征提取
MobileNet块的核心就是深度可分离卷积。我刚开始接触这个的时候，觉得名字挺唬人，其实说白了就是两步走：
- 深度卷积：每个通道单独做卷积，互不干扰
- 逐点卷积：用1x1卷积把通道信息融合起来
这样做的好处是什么？计算量直接降为原来的1/8到1/9。举个例子，一个3x3的标准卷积，计算量是3x3x输入通道x输出通道。换成深度可分离卷积，计算量是3x3x输入通道 + 输入通道x输出通道。你算算，差了多少？
我的经验：在MobileViT中，MobileNet块通常放在前面几层，负责快速下采样和提取基础特征。我移植的时候发现，前两个MobileNet块的通道数不要设太大，64到128就够，否则模型会变慢。
3.2.2 Transformer块：全局关系建模
Transformer块是MobileViT的亮点。它不像ViT那样直接处理整张图，而是先切块，再处理，最后拼回去。具体流程：
- Unfold：把特征图切成一个个小patch，比如2x2或4x4
- Transformer：对每个patch做自注意力，捕捉patch内部的全局关系
- Fold：把处理后的patch拼回原特征图
你可能会问：为什么不像ViT那样直接处理整张图？ 原因很简单——移动端扛不住。一张特征图可能就有32x32=1024个位置，自注意力复杂度是O(n²)，算起来太慢。MobileViT的做法是局部全局化，每个patch内部做自注意力，既获得了全局信息，又控制了计算量。
避坑指南：我曾经在移植时犯过一个错——把patch size设得太大（比如8x8）。结果模型精度上去了，但推理速度慢了一倍。后来我改成4x4，精度只降了0.3%，速度却快了40%。patch size是个权衡点，建议从4x4开始调。
3.3 模型变体介绍
MobileViT官方提供了三个变体：MobileViT-S、MobileViT-XS、MobileViT-XXS。它们的区别主要在模型宽度和深度上。
| 变体 | 参数数量 | FLOPs | ImageNet Top-1 | 适用场景 |
|---|---|---|---|---|
| MobileViT-S | 5.6M | 1.3G | 78.4% | 高精度需求，设备性能较好 |
| MobileViT-XS | 2.3M | 0.7G | 76.7% | 平衡精度与速度 |
| MobileViT-XXS | 1.3M | 0.4G | 74.8% | 极致轻量，低端设备 |
我个人习惯从MobileViT-XS开始尝试。为什么？因为它在精度和速度之间取得了很好的平衡。我在一个车牌识别项目里用过XXS，精度勉强够用，但换成XS后，准确率直接提升了2个百分点，推理时间只多了15毫秒。嗯，这笔账很划算。
如果你要部署到特别老的设备上（比如只有4核CPU、无GPU），那XXS是唯一选择。但要注意，XXS的Transformer块层数较少，全局建模能力会弱一些。我建议在数据增强上多下功夫，比如加一些随机裁剪和颜色抖动，能补回来一点精度。
选型建议：
- 旗舰手机/平板：MobileViT-S，发挥硬件性能
- 中端设备：MobileViT-XS，性价比最高
- 低端/嵌入式：MobileViT-XXS，保证基本可用
好了，这一章的内容就这些。你理解了ViT和CNN的区别，知道了MobileViT的核心模块是怎么配合的，也清楚了三个变体的选型思路。下一章咱们就开始动手——搭建MobileViT的训练环境。到时候我会把踩过的坑都告诉你，让你少走弯路。
可可精品资料库