01
课程导论：为什么要在MobileViT中使用自注意力？
MobileViT的诞生背景与核心思想
动机全局建模
02
卷积神经网络(CNN)基础回顾
卷积操作、池化、感受野、CNN在移动端的局限性
CNN移动端
03
自注意力机制入门
从Seq2Seq到Transformer，Query、Key、Value的概念
AttentionQKV
04
多头自注意力(MSA)详解
为什么需要多头？多头如何工作？计算复杂度分析
MSA复杂度
05
Vision Transformer (ViT) 原理
图像分块(Patch Embedding)、位置编码、CLS
ViTPatch
06
ViT的优缺点
全局感受野的优势、计算量大、数据需求高、难以部署到移动端
权衡部署
07
轻量化注意力机制
Swin Transformer窗口注意力、Efficient Attention、Linformer
轻量窗口
08
MobileNet系列回顾
深度可分离卷积、宽度因子、分辨率因子、MobileNetV3
MobileNet深度可分离
09
MobileViT的设计动机
融合CNN的局部特征提取与Transformer的全局建模能力
融合局部+全局
10
MobileViT整体架构概览
标准MobileNetV2结构 + MobileViT Block
架构MV2
11
MobileViT Block 核心组件(上)
局部特征编码(Local Representation)
局部编码卷积
12
MobileViT Block 核心组件(中)
全局特征编码(Global Representation) - Transformer部分
Transformer全局
13
MobileViT Block 核心组件(下)
特征融合(Fusion)与跳跃连接
Fusion跳跃连接
14
MobileViT中的自注意力实现细节
如何将特征图转换为序列？序列长度控制
序列化Patch
15
位置编码在MobileViT中的设计
可学习位置编码 vs 条件位置编码
位置编码可学习
16
MobileViT的变体
MobileViT-S、MobileViT-XS、MobileViT-XXS 参数对比
变体轻量
17
MobileViTv2 改进
线性注意力、移除位置编码、改进的MV2模块
v2线性注意力
18
MobileViTv3 改进
融合卷积与Transformer的更高效设计
v3高效
19
损失函数与训练策略
标签平滑、学习率调度、数据增强(RandAugment)
训练Augment
20
模型轻量化技术
量化、剪枝、知识蒸馏在MobileViT上的应用
量化剪枝蒸馏
21
MobileViT在图像分类任务上的实战
使用PyTorch搭建MobileViT模型
实战PyTorch
22
MobileViT在目标检测任务上的应用
作为SSD或YOLO的骨干网络
检测SSD/YOLO
23
MobileViT在语义分割任务上的应用
结合DeepLabV3+
分割DeepLab
24
MobileViT在iOS/Android上的部署
使用CoreML/TFLite进行模型转换与优化
部署CoreMLTFLite
25
性能对比实验
MobileViT vs MobileNetV3 vs EfficientNet-Lite 在ImageNet上的表现
对比ImageNet
26
消融实验分析
自注意力层数、头数、Patch大小对精度和速度的影响
消融超参数
27
常见问题与调试技巧
训练不收敛、显存溢出(OOM)、推理速度慢的解决方案
调试OOM
28
前沿进展
FastViT、EfficientFormer、EdgeNeXt 等新一代轻量ViT
前沿轻量ViT
29
综合项目实战
基于MobileViT的移动端实时垃圾分类系统
项目垃圾分类
30
课程总结与未来展望
端侧AI的发展趋势、自注意力机制的演进方向
总结趋势