2. MobileViT核心架构解析：MobileNetV2作为backbone，Transformer作为全局特征提取器

好，咱们直接进入正题。MobileViT这个架构，说白了就是「用轻量级CNN打底，用Transformer提全局特征」的组合拳。我最早看到这个设计时，第一反应是——这不就是给移动端模型装了个「千里眼」吗？

为什么这么说？你想想看，纯CNN模型在局部特征提取上确实厉害，但一遇到需要全局理解的场景（比如判断一个物体是不是被遮挡了），就容易抓瞎。而Transformer正好擅长这个。但Transformer又太「重」了，直接搬到手机上跑不动。MobileViT的巧妙之处就在于——它用MobileNetV2当「侦察兵」做初步特征提取，再用一个轻量化的Transformer当「指挥官」做全局决策。

2.1 整体网络结构拆解：三阶段流水线

MobileViT的网络结构，我个人习惯把它分成三个阶段来看：

1. Stage 1：MobileNetV2 浅层特征提取 —— 负责抓边缘、纹理等低级特征
2. Stage 2：MobileViT 模块堆叠 —— 核心部分，CNN + Transformer 交替工作
3. Stage 3：分类头/检测头 —— 根据任务需求做最终输出

嗯，这里要注意：MobileViT并没有把整个MobileNetV2搬过来，而是只用了它的前几个bottleneck block。我刚开始看时也困惑过——为什么不直接用完整的MobileNetV2？后来在项目中试了一下才发现，如果全用上，模型太大，手机端根本跑不起来。

2.2 MobileNetV2作为backbone：为什么选它？

MobileNetV2的核心贡献是倒残差结构（Inverted Residual）和线性瓶颈（Linear Bottleneck）。说白了，就是先升维再降维，中间用深度可分离卷积。

为什么会这样设计？传统残差结构是「压缩-处理-扩张」，而MobileNetV2反其道而行之——先扩张通道数（比如从32扩到96），让模型有更多「内存」去学习特征，再用深度可分离卷积处理，最后压缩回来。这样做的好处是：

• 计算量小：深度可分离卷积比普通卷积少一个数量级的参数
• 信息不丢失：升维后再降维，相当于给特征图做了「无损压缩」
• 适合移动端：没有全连接层，全是卷积操作，硬件友好

我记得有一次在手机上跑一个分割模型，用MobileNetV2做backbone，帧率能到30fps，换成ResNet18直接掉到8fps。差距就是这么明显。

2.3 Transformer作为全局特征提取器：轻量化改造

MobileViT里的Transformer，不是直接搬ViT那一套。它做了三个关键改造：

1. 局部窗口化：把特征图切成一个个小patch（比如2x2），只在patch内部做自注意力。这比全局自注意力省了90%的计算量。
2. 深度可分离卷积前置：在Transformer之前加一个3x3深度可分离卷积，用来编码位置信息。为什么？因为Transformer本身没有位置感知能力，而卷积天然能感知空间位置。
3. 跳跃连接：Transformer的输出会和原始CNN特征图做残差连接。这样既保留了局部细节，又融入了全局信息。

你想想看，如果直接拿ViT的全局自注意力来算，一张256x256的特征图，计算复杂度是O(n²) = O(65536²)，手机根本扛不住。而MobileViT的局部窗口化，把复杂度降到了O(k²)，k是窗口大小（比如2），差了四个数量级。

# 输入: 特征图 F (H x W x C)
# 1. 局部窗口切分: F -> patches (N x P x P x C)
# 2. 每个patch内做自注意力: 
#    Attention(Q,K,V) = softmax(QK^T/√d) V
# 3. 恢复特征图: patches -> F' (H x W x C)
# 4. 残差连接: Output = F + F'

2.4 整体数据流：一张图看懂

下面我用SVG画了一张流程图，展示MobileViT的完整数据流动过程。从输入图像开始，经过MobileNetV2的浅层特征提取，再到MobileViT模块的CNN-Transformer交替处理，最后输出特征图。

2.5 关键设计细节：为什么这样组合有效？

我总结了一下，MobileViT能成功，主要靠三个设计哲学：

2.6 代码实现要点（伪代码）

最后，我给出一个简化版的MobileViT模块实现思路。实际代码会复杂一些，但核心逻辑就是这样：

class MobileViTBlock(nn.Module):
    def __init__(self, in_channels, transformer_dim, num_heads):
        super().__init__()
        # 1. 局部特征提取（CNN部分）
        self.local_conv = nn.Conv2d(in_channels, transformer_dim, kernel_size=3, padding=1)
        
        # 2. 全局特征提取（Transformer部分）
        self.transformer = nn.TransformerEncoder(
            nn.TransformerEncoderLayer(
                d_model=transformer_dim, 
                nhead=num_heads,
                dim_feedforward=transformer_dim*2
            ),
            num_layers=2
        )
        
        # 3. 特征融合
        self.fusion = nn.Conv2d(transformer_dim, in_channels, kernel_size=1)
        
    def forward(self, x):
        # x: (B, C, H, W)
        
        # CNN局部特征
        local_feat = self.local_conv(x)  # (B, D, H, W)
        
        # 折叠成序列，送入Transformer
        B, D, H, W = local_feat.shape
        patches = local_feat.view(B, D, H*W).permute(2, 0, 1)  # (N, B, D)
        global_feat = self.transformer(patches)  # (N, B, D)
        global_feat = global_feat.permute(1, 2, 0).view(B, D, H, W)  # 恢复
        
        # 残差连接
        out = self.fusion(global_feat) + x
        return out

嗯，这里要注意：实际MobileViT里，Transformer部分还用了LayerNorm和残差连接，我为了简洁省略了。但核心思想就是——先用CNN提取局部特征，再用Transformer做全局建模，最后融合回去。