01
课程导论：为什么需要轻量Transformer与卷积融合？核心挑战与解决思路。
融合动机、效率瓶颈与设计哲学
导论动机
02
卷积基础回顾：标准卷积、深度可分离卷积、分组卷积的原理与计算量对比。
FLOPs / 参数量 / 感受野
卷积基础
03
Transformer基础回顾：自注意力机制、多头注意力、位置编码的核心原理。
QKV / 多头 / 位置编码
Transformer注意力
04
轻量级网络设计哲学：MobileNet、ShuffleNet、EfficientNet的设计启示。
深度可分离 / 通道混洗 / 复合缩放
轻量设计
05
融合动机分析：CNN的局部性与Transformer的全局性如何互补？
局部-全局 / 互补特征
动机分析
06
早期融合方案：并行双分支结构（CNN分支 + Transformer分支）的设计与局限。
并行分支 / 特征融合
并行早期
07
串行融合方案：CNN作为特征提取前端 + Transformer作为关系建模后端。
串行 / 前端-后端
串行特征提取
08
交错融合方案：在Transformer块内部插入卷积层（Conv-Attention混合块）。
Conv-Attention / 混合块
交错混合
09
卷积化自注意力：用深度可分离卷积替代QKV投影，降低参数量。
轻量注意力 / 深度可分离
卷积化QKV
10
局部增强注意力：在注意力计算中引入相对位置偏置与局部窗口。
局部窗口 / 相对位置
局部增强
11
MobileViT详解：将Transformer视为卷积的另一种形式，实现轻量级视觉模型。
MobileViT / 轻量视觉
MobileViT详解
12
MobileViTv2：可分离自注意力与线性复杂度的改进。
线性注意力 / 可分离
v2改进
13
EfficientFormer：纯Transformer架构通过硬件感知设计达到卷积级效率。
硬件感知 / 高效
EfficientFormer硬件
14
EdgeNeXt：结合深度可分离卷积与Transformer的全局-局部特征提取器。
EdgeNeXt / 全局-局部
EdgeNeXt特征提取
15
ConvNeXt：现代卷积网络，借鉴Transformer设计理念（如LayerNorm、GELU）改造CNN。
ConvNeXt / 现代化CNN
ConvNeXt设计
16
Next-ViT：下一代视觉Transformer，利用卷积加速下采样与交互。
Next-ViT / 下采样
Next-ViT加速
17
FasterNet：通过部分卷积（PConv）实现极低FLOPs的轻量级网络。
PConv / 极低FLOPs
FasterNetPConv
18
轻量级注意力变体：SimAM、CA、ECA等无参数/轻量注意力机制。
无参数 / 通道注意力
SimAMECACA
19
知识蒸馏在轻量融合模型中的应用：如何用大模型教小模型？
蒸馏 / 教师-学生
知识蒸馏轻量
20
模型剪枝与量化：对融合模型进行结构化剪枝与INT8量化部署。
剪枝 / INT8量化
剪枝量化
21
NVIDIA TensorRT部署优化：融合模型在TensorRT中的算子融合策略。
TensorRT / 算子融合
TensorRT部署
22
ONNX导出与优化：将PyTorch融合模型导出为ONNX并进行图优化。
ONNX / 图优化
ONNX导出
23
移动端部署（TFLite/NCNN）：针对ARM CPU/GPU的推理优化。
TFLite / NCNN / ARM
移动端TFLiteNCNN
24
边缘端部署（OpenVINO）：在Intel平台上加速融合模型推理。
OpenVINO / Intel
边缘端OpenVINO
25
实战项目一：基于MobileViT的图像分类（CIFAR-10）从零实现与训练。
CIFAR-10 / MobileViT
实战分类
26
实战项目二：基于EdgeNeXt的目标检测（Pascal VOC）迁移学习。
Pascal VOC / 检测
实战检测
27
实战项目三：基于ConvNeXt的语义分割（Cityscapes）轻量级方案。
Cityscapes / 分割
实战分割
28
性能对比分析：在ImageNet-1K上对比各融合模型的Top-1准确率与FLOPs。
ImageNet / 对比
性能对比
29
未来趋势：状态空间模型（Mamba）与卷积的融合、神经架构搜索（NAS）自动化设计。
Mamba / NAS
未来趋势
30
课程总结：融合设计的核心原则、选型指南与学习路径建议。
总结 / 学习路径
总结指南