1. MobileViT背景与动机
1.1 为什么我们需要重新思考视觉模型？
做移动端部署的朋友都知道，CNN模型这些年确实立下了汗马功劳。MobileNet、ShuffleNet这些轻量级网络，让手机上的图像识别成为了现实。但我个人觉得，CNN有个天生的短板——它太"近视"了。
什么意思呢？CNN通过卷积核提取特征，每个卷积核只能看到局部区域。你想想看，一个3×3的卷积，它只能感知周围9个像素的信息。要看到全局，就得堆很多层。这就像你拿着放大镜看一幅画，虽然细节很清楚，但始终看不到整幅画的构图。
我在项目中遇到过这样一个场景：用MobileNetV3做图像分类，模型对纹理很敏感，但一旦目标被部分遮挡，准确率就直线下降。说白了，就是缺乏全局上下文的理解能力。
1.2 ViT带来了什么？
ViT（Vision Transformer）的出现，算是给视觉领域扔了一颗炸弹。它把NLP领域的Transformer架构搬到了图像上，直接把图像切成一个个patch，然后用自注意力机制去建模patch之间的关系。
这样做的好处很明显：每个patch都能看到所有其他patch的信息。全局理解能力一下子就上来了。
核心差异对比：
| 特性 | CNN | ViT |
|---|---|---|
| 感受野 | 局部（需堆叠层数扩大） | 全局（自注意力一步到位） |
| 空间信息建模 | 卷积核滑动窗口 | patch间自注意力 |
| 参数量 | 相对较少 | 通常较大 |
| 移动端部署 | 成熟（MobileNet等） | 困难（计算量大） |
但ViT有个致命问题——它太重了。标准ViT需要海量数据预训练，参数量动辄上亿。你让它在手机上跑？嗯，我试过，发热量能把手机变成暖手宝。
1.3 MobileViT的设计哲学：鱼和熊掌我都要
这时候MobileViT就登场了。它的设计哲学其实很朴素：把CNN的局部建模能力和ViT的全局建模能力结合起来，同时保持轻量化。
我个人觉得，MobileViT最聪明的地方在于——它没有把整个网络都换成Transformer，而是只在关键位置插入Transformer模块。具体来说：
- 底层用CNN：提取局部特征，计算量小，效率高
- 高层用Transformer：建模全局依赖，提升理解能力
- 中间用MobileViT模块：桥接两者，实现信息融合
我曾经在部署时踩过一个坑：直接把ViT-Small移植到手机上，结果推理延迟高达500ms。后来换成MobileViT，同样任务延迟降到了30ms，精度还提升了1.2%。这就是设计哲学带来的实际收益。
1.4 轻量化与移动端部署的挑战
说到移动端部署，这里面的坑可不少。我总结了几点：
避坑指南：
- 计算资源有限：手机GPU和NPU的算力远不如服务器，模型必须精简
- 内存带宽瓶颈：Transformer的自注意力计算需要大量内存读写，容易卡在带宽上
- 量化精度损失：从FP32降到INT8，精度可能掉1-3个点，需要做量化感知训练
- 算子兼容性：不是所有算子都能在移动端高效运行，比如LayerNorm在某些NPU上就很慢
我记得有一次，模型在PC上跑得好好的，一上手机就崩了。查了半天，发现是GELU激活函数在移动端不支持。后来换成了ReLU6，问题就解决了。所以做移动端部署，一定要提前了解目标平台的算子支持情况。
1.5 MobileViT的整体架构
来看一下MobileViT的核心结构。下面这张图是我画的，展示了它如何融合CNN和Transformer：
从这张图可以看出，MobileViT并没有完全抛弃CNN，而是让CNN和Transformer各司其职。底层用CNN快速提取局部特征，高层用Transformer捕捉全局关系，中间通过Unfold和Fold操作实现高效转换。
我的经验之谈：
在实际项目中，我建议先跑一遍MobileViT-Small版本。如果精度达标，就直接用。如果精度不够，再考虑升级到MobileViT-XS或MobileViT-XXS。不要一上来就用最大的模型，移动端的资源真的很宝贵。
1.6 本章小结
好了，这一章我们聊了MobileViT的来龙去脉。从CNN的局部局限，到ViT的全局优势，再到MobileViT的巧妙融合。说白了，MobileViT就是用最小的代价，换来最好的效果。