01
卷积与自注意力融合概述
为什么需要融合？核心思想与演进脉络。
动机全景
02
CNN基础回顾
卷积核、感受野、池化、ResNet、MobileNet。
卷积经典架构
03
自注意力机制基础回顾
QKV计算、多头注意力、位置编码、Transformer。
注意力Transformer
04
融合动机分析
CNN局部性 & 自注意力全局性互补，各自瓶颈。
分析互补
05
早期融合尝试
并行双分支结构：DETR中的CNN+Transformer。
并行DETR
06
串行融合范式
CNN特征提取前端 + Transformer关系建模后端。
串行pipeline
07
轻量级融合设计
MobileNet中插入轻量自注意力 (MobileViT)。
轻量MobileViT
08
注意力增强卷积
自注意力动态调制卷积核权重 (AA-ResNet)。
动态AA-ResNet
09
卷积辅助自注意力
卷积生成更高效QKV投影 (CvT)。
高效CvT
10
局部-全局混合注意力
窗口注意力+全局注意力+卷积下采样 (Swin)。
Swin分层
11
特征金字塔融合
FPN中引入自注意力进行跨尺度交互。
FPN多尺度
12
通道-空间联合建模
通道注意力(SE) + 空间注意力(CBAM) + 自注意力。
SECBAM
13
训练稳定性调优
warmup+cosine、梯度裁剪、标签平滑。
学习率稳定
14
初始化技巧
融合模块特定初始化 (Truncated Normal等)。
初始化权重
15
正则化与数据增强
Dropout、DropPath、RandAugment、MixUp。
正则增强
16
计算效率优化
稀疏注意力、线性注意力(Performer)、FlashAttention。
加速FlashAttention
17
模型压缩与量化
剪枝、知识蒸馏、INT8量化对融合模型影响。
压缩INT8
18
部署实战
ONNX导出、TensorRT、移动端NCNN/TNN适配。
部署ONNX
19
图像分类任务调优
ImageNet上训练融合模型完整Pipeline。
分类ImageNet
20
目标检测任务调优
COCO上训练融合检测器 (DETR, Deformable DETR)。
检测DETR
21
语义分割任务调优
Cityscapes上训练融合分割模型 (SegFormer)。
分割SegFormer
22
视频理解任务调优
TimeSformer、Video Swin中的时空融合技巧。
视频时空
23
多模态任务调优
CLIP、ViLT中的视觉-语言融合策略。
多模态CLIP
24
超参数搜索
学习率、batch size、注意力头数、窗口大小调优。
调参搜索
25
消融实验设计
科学验证融合模块有效性，控制变量法详解。
消融方法论
26
可视化分析
注意力图、特征图、Grad-CAM诊断融合效果。
可视化Grad-CAM
27
常见陷阱与避坑
梯度消失、显存爆炸、过拟合、收敛缓慢排查。
debug经验
28
前沿进展
State Space Models (Mamba) 与卷积/注意力融合趋势。
Mamba前沿
29
开源框架与工具
timm、HuggingFace、MMDetection中的融合模型库。
timmMMDetection
30
综合实战项目
从零搭建融合模型，完成训练、调优、部署全流程。
实战全流程