1、MobileViT背景与课程概览
什么是MobileViT？
MobileViT，说白了，就是苹果公司在2021年提出的一种轻量级视觉Transformer。
你可能会问：Transformer不是做NLP的吗？怎么跑到图像领域来了？
嗯，这就要从ViT（Vision Transformer）说起了。ViT把图像切成一个个patch，然后像处理文本一样处理这些patch。效果确实好，但模型太大，手机根本跑不动。
MobileViT的厉害之处在于——它把CNN（卷积神经网络）和Transformer融合在了一起。CNN负责提取局部特征，Transformer负责捕捉全局关系。两者互补，效果1+1>2。
我记得第一次在iPhone上跑通MobileViT时，心里还挺激动的。一个不到6MB的模型，分类准确率居然能跟那些几十MB的大模型掰手腕。
核心要点：MobileViT = CNN的局部特征提取能力 + Transformer的全局上下文建模能力，专为移动端设计。
为什么选择MobileViT？
我在项目中遇到过不少选择困难症。MobileNet、EfficientNet、Swin Transformer……每个都有优点，但MobileViT有几个让我坚持用它的理由：
- 推理速度快——在iPhone 12上，MobileViT-S的推理延迟只有不到30ms。你想想看，这已经接近实时了。
- 模型体积小——最小的MobileViT-XXS只有1.3MB。我做过一个OCR应用，整个模型包才4MB，用户下载毫无压力。
- 精度不妥协——在ImageNet上，MobileViT-S的Top-1准确率达到了78.4%。这个成绩在轻量级模型里属于第一梯队。
- 部署友好——苹果自家的Core ML对MobileViT有原生优化。不需要额外写算子，直接导出就能用。
| 模型 | 参数量 | Top-1准确率 | iPhone 12延迟 |
|---|---|---|---|
| MobileViT-XXS | 1.3M | 69.0% | ~15ms |
| MobileViT-XS | 2.3M | 74.8% | ~22ms |
| MobileViT-S | 5.6M | 78.4% | ~30ms |
个人建议：如果你的应用对延迟要求极高（比如实时视频处理），选MobileViT-XXS。如果更看重精度，MobileViT-S是更好的选择。我一般会准备两个版本，根据用户设备动态切换。
课程目标
这门课的目标很明确——让你能在iOS上真正跑起来MobileViT推理。
不是那种「看完还是不会」的教程。我会带你走完整个流程：
- 从PyTorch导出MobileViT模型
- 转换成Core ML格式
- 集成到iOS App中
- 优化推理性能
- 处理输入输出数据
我曾经踩过一个坑：模型在Python里推理完全正常，但到了iOS上结果全错。后来发现是图像预处理没对齐。这种细节，我会在课程里一一讲清楚。
前置知识
你需要具备以下基础：
- iOS开发基础——至少会用Swift写简单的UI，了解Xcode的基本操作
- Python基础——能看懂PyTorch代码，会使用pip安装包
- 机器学习基础——理解卷积、池化、全连接层这些基本概念
如果你对Transformer完全不了解，也不用担心。我会在第2章专门讲MobileViT的网络结构，从零开始拆解。
注意：本课程需要一台Mac电脑（M1或Intel均可），以及一台iPhone或iPad用于真机测试。模拟器虽然也能跑，但性能数据不准确。
知识体系总览
下面这张图展示了整个课程的知识结构。你可以把它当作导航图，随时回来看看自己学到哪了。
写在前面
这门课不会讲太多理论推导。我始终认为，对于iOS开发者来说，能跑起来、跑得快比什么都重要。
当然，必要的原理还是要懂的。比如为什么MobileViT的推理速度比纯Transformer快？因为它的Transformer模块只在特征图的最后几层使用，前面的特征提取全靠CNN。这样既保留了全局信息，又避免了Transformer的平方级计算复杂度。
嗯，这些细节我们后面会慢慢展开。现在，你只需要知道：MobileViT是一个能在手机上实时运行的、精度不错的视觉模型。这就够了。
准备好了吗？我们开始吧。