1. MobileViT背景与动机：为什么需要轻量化视觉模型？

大家好，我是你们的老朋友。今天咱们聊聊MobileViT——这个把轻量化和Transformer结合起来的家伙。

先问个问题：你手头有个项目，要在手机上跑目标检测。模型不能太大，推理不能太慢，精度还不能太差。怎么办？

嗯，这就是我们做MobileViT的初衷。说白了，就是要在资源受限的设备上，让视觉模型既快又准。

为什么需要轻量化视觉模型？

我2018年做过一个嵌入式项目，要在树莓派上做实时行人检测。当时试了VGG16，模型200多MB，推理一帧要好几秒。客户说：“你这哪是实时，这是慢放啊。”

从那以后我就明白了——模型大小和推理速度，有时候比精度还重要。

轻量化模型的需求，主要来自这几个场景：

• 移动端设备：手机、平板，算力和内存都有限
• 边缘计算：摄像头、IoT设备，不能联网上传数据
• 实时应用：自动驾驶、AR/VR，延迟必须低
• 成本控制：云端推理贵，本地推理省钱

你想想看，一个模型如果能在手机上跑，那部署成本几乎为零。这就是轻量化模型的魅力。

MobileNet的局限性

说到轻量化，大家第一个想到的肯定是MobileNet。我个人也很喜欢这个系列，但用过几次后，发现它有个硬伤。

MobileNet的核心是深度可分离卷积。它把标准卷积拆成两步：先逐通道卷积，再逐点卷积。参数量确实降下来了，但感受野受限。

什么意思呢？就是它只能看到局部特征，抓不住全局信息。比如一张图里有只猫，MobileNet能认出猫的耳朵、眼睛，但很难把“耳朵+眼睛+胡须”组合成“这是一只猫”的全局概念。

我在做语义分割时遇到过这个问题。用MobileNet做backbone，分割出来的物体边缘总是断断续续的。后来换成带自注意力的结构，效果立马好了。这就是全局建模的重要性。

ViT的局限性

ViT（Vision Transformer）正好相反。它用自注意力机制，一上来就看全局。理论上很完美，但实际用起来，问题也不少。

首先，计算量太大。ViT的自注意力复杂度是O(n²)，n是图像块的数量。一张224x224的图，切成16x16的块，就有196个块。计算量还能接受。但换成高清图，比如1024x1024，块数直接翻十几倍，显存就爆了。

其次，需要海量数据。ViT没有卷积那种归纳偏置（平移不变性、局部性），所以得用超大数据集预训练。我试过在ImageNet-1K上从头训ViT，效果还不如ResNet。后来用了JFT-300M预训练权重，才勉强追上。

最后，部署困难。ViT的推理框架支持度不高，很多边缘设备压根跑不了。

模型	优势	劣势
MobileNet	轻量、快速、易部署	感受野小、全局建模弱
ViT	全局建模强、精度上限高	计算量大、数据需求高、部署难

MobileViT的创新点

那有没有办法，把MobileNet的轻量和ViT的全局建模结合起来？

有，就是MobileViT。

它的核心思路很简单：用卷积处理局部特征，用Transformer处理全局特征，两者交替使用。

具体来说，MobileViT做了三件事：

1. 保留卷积的局部建模能力：先用标准卷积提取浅层特征，保持平移不变性
2. 引入Transformer的全局建模能力：把特征图切成小块，用自注意力建立长距离依赖
3. 轻量化设计：控制Transformer的块数和维度，避免计算量爆炸

我举个例子你就明白了。假设你要识别一张图里有没有“红绿灯”。

卷积层负责找“红色”、“圆形”、“杆子”这些局部特征。Transformer层负责把这些特征关联起来——“红色圆形在杆子顶部，那就是红绿灯”。

两者一结合，既轻量又准确。

下面这张图，是我画的MobileViT整体架构。你可以看到，它把输入图像先经过卷积层，再进入MobileViT模块，最后输出特征图。

总结一下，MobileViT的出现，解决了两个痛点：

• MobileNet的“只见树木，不见森林”
• ViT的“算不起，训不动，部署难”

它用巧妙的方式，把卷积和Transformer的优点结合在了一起。既保留了轻量化的特性，又获得了全局建模的能力。

我个人觉得，MobileViT是轻量化视觉模型的一个里程碑。它告诉我们：不是非得二选一，融合才是王道。

好了，这一章就聊到这儿。下一章，咱们深入MobileViT的代码实现，看看它到底是怎么把卷积和Transformer揉在一起的。