1、MobileViT 是什么：从 ViT 到 MobileViT 的演进
大家好，我是老赵。今天咱们聊聊 MobileViT 这个模型。说实话，我第一次看到这个名字的时候，第一反应是——这不就是把 ViT 塞进手机里吗？后来深入一研究，发现事情没那么简单。
1.1 从 ViT 到 MobileViT：为什么需要变？
ViT（Vision Transformer）出来的时候，大家都挺兴奋的。它把 NLP 里的 Transformer 搬到了视觉任务上，效果确实好。但问题也很明显——太吃资源了。
我记得 2021 年有个项目，客户要求在树莓派上跑 ViT 做图像分类。我试了一下，推理一张图要 3 秒多，内存直接爆掉。嗯，那会儿我就知道，ViT 在边缘设备上基本行不通。
为什么会这样？说白了，ViT 的核心问题是：
- 计算量太大：自注意力机制是 O(n²) 的复杂度，图像 patch 一多，计算量直接起飞
- 需要海量数据：ViT 天生缺少 CNN 的归纳偏置，得用超大数据集才能训好
- 内存占用高：保存中间特征图，对嵌入式设备来说简直是噩梦
所以业界就开始琢磨：能不能把 CNN 的轻量优势和 Transformer 的全局感知能力结合起来？MobileViT 就是在这个背景下诞生的。
核心思路：用 CNN 处理局部特征，用 Transformer 捕捉全局依赖。两者结合，既轻量又强大。
1.2 MobileViT 的核心优势：轻量 + 全局感知
MobileViT 最让我欣赏的地方，就是它在移动设备上也能跑出好效果。我去年在一个智能门锁项目里用了 MobileViT-XS，在 RK3588 上推理一张 256x256 的图只要 15ms，准确率还比 MobileNetV3 高了 3 个点。
它的核心优势可以总结为三点：
- 参数少，速度快：相比 ViT，参数量直接降了一个数量级
- 全局感知能力：不像纯 CNN 那样只能看到局部，MobileViT 能捕捉长距离依赖
- 部署友好：支持常见的部署框架，ONNX、TFLite、NCNN 都能跑
我的经验：在实际部署中，MobileViT 对 INT8 量化的容忍度比 ViT 高很多。ViT 量化后精度掉 5-8 个点，MobileViT 一般只掉 1-2 个点。这一点在边缘设备上非常关键。
1.3 MobileViT 的三种变体：XXS / XS / S
MobileViT 官方提供了三个版本，分别对应不同的资源预算。我习惯把它们叫做「小杯、中杯、大杯」。
| 变体 | 参数量 | FLOPs | ImageNet Top-1 | 适用场景 |
|---|---|---|---|---|
| MobileViT-XXS | 1.3M | 0.4G | 69.0% | MCU、超低功耗设备 |
| MobileViT-XS | 2.3M | 1.0G | 74.8% | 手机、树莓派 |
| MobileViT-S | 5.6M | 2.0G | 78.4% | 边缘服务器、Jetson |
你想想看，XXS 版本只有 1.3M 参数，比 MobileNetV2 还小，但准确率却高出一截。我有个朋友在 STM32H7 上跑 XXS 版本，帧率能到 10FPS，这在以前想都不敢想。
避坑指南：我曾经在选型时犯过一个错误——为了追求准确率直接选了 S 版本，结果发现目标设备的内存只有 256MB，跑不起来。后来换成 XS 版本，精度只降了 3 个点，但推理速度提升了 2 倍。所以我的建议是：从 XXS 开始试，资源有余量再往上走。
1.4 MobileViT 的整体架构
下面这张图是我自己画的 MobileViT 架构概览，帮你快速理解它的整体流程：
从图上你能看到，MobileViT 的流程其实很清晰：输入图像先经过标准卷积下采样，然后通过几个 MV2（MobileNetV2 倒残差）模块提取局部特征，最后进入 MobileViT 模块做全局建模。整个结构就是CNN 打底 + Transformer 点睛。
1.5 实际部署中的选择建议
根据我这两年部署 MobileViT 的经验，给你几个实在的建议：
- MCU 或 DSP 平台：选 XXS 版本，注意要开启 NHWC 数据格式，内存能省 30%
- 手机或平板：XS 版本是甜点，精度和速度的平衡最好
- Jetson 或边缘服务器：S 版本没问题，还可以尝试 FP16 推理
- 如果设备支持 NPU：优先用 XS 版本，NPU 对 1-2G FLOPs 的模型加速效果最好
小技巧：我在部署时习惯先用 XXS 版本跑通整个 pipeline，确认推理框架没问题后，再换成 XS 或 S 版本。这样调试成本最低，不会一上来就被大模型卡住。
好了，这一章就到这里。MobileViT 的核心就是「用最少的资源，做最大的事」。下一章我会详细拆解 MobileViT 模块的内部结构，看看它到底是怎么把 CNN 和 Transformer 揉在一起的。