01
课程导学与语义分割基础
MobileViT课程介绍 · 学习路线图 · 语义分割任务定义 · 应用场景(自动驾驶、医疗影像) · 评价指标(mIoU、PA)
导学指标
02
深度学习环境配置
Anaconda安装 · PyTorch框架安装 · CUDA与cuDNN配置 · 常用Python库(OpenCV、Matplotlib、tqdm)安装
环境CUDA
03
语义分割数据集详解
PASCAL VOC 2012 · Cityscapes · 数据集下载与目录结构 · 标签与颜色映射
VOCCityscapes
04
数据预处理与增强
图像读取与缩放 · 随机翻转与旋转 · 颜色抖动与归一化 · 自定义Dataset类与DataLoader
增强DataLoader
05
卷积神经网络基础
卷积层原理 · 池化层 · 激活函数(ReLU、GELU) · 感受野与参数计算
CNNGELU
06
经典分割网络FCN
全卷积网络思想 · 上采样与转置卷积 · 跳跃连接结构 · FCN代码实战
FCN转置卷积
07
U-Net架构详解
编码器-解码器结构 · 跳跃连接实现 · 医学图像应用 · U-Net代码实现
U-Net医学
08
DeepLab系列
空洞卷积原理 · ASPP模块详解 · DeepLabV3+架构 · DeepLab代码实战
ASPPDeepLab
09
Transformer基础
自注意力机制 · 多头注意力 · 位置编码 · Transformer Encoder结构
注意力位置编码
10
Vision Transformer (ViT)
图像分块嵌入 · ViT架构详解 · ViT与CNN对比 · ViT代码实现
ViT图像块
11
MobileNet系列
深度可分离卷积 · MobileNetV1/V2/V3架构 · 宽度与分辨率缩放 · MobileNet代码实战
轻量化深度可分离
12
MobileViT核心思想
MobileViT解读 · MobileViT Block结构 · 局部与全局特征融合 · 优势分析
MobileViT融合
13
MobileViT网络架构
MobileViT-S/XS/XXS变体 · 整体网络结构 · 下采样与上采样设计 · 参数量与计算量分析
变体复杂度
14
MobileViT代码实现(一)
MV2模块实现 · MobileViT Block实现 · FFN与注意力模块代码
MV2FFN
15
MobileViT代码实现(二)
完整MobileViT网络搭建 · 不同变体配置 · 前向传播测试
网络搭建前向
16
语义分割头设计
分割头结构 · 上采样策略 · 多尺度特征融合 · 分割头代码实现
分割头多尺度
17
损失函数详解
交叉熵损失 · Dice Loss · Focal Loss · 组合损失函数 · 代码实现
DiceFocal
18
训练流程搭建
训练脚本结构 · 优化器(AdamW) · 学习率调度(Cosine Annealing) · 混合精度训练
AdamWAMP
19
验证与测试流程
模型评估代码 · mIoU计算实现 · 混淆矩阵 · 可视化预测结果
mIoU混淆矩阵
20
模型训练实战(一)
PASCAL VOC数据集训练配置 · 训练参数设置 · 训练过程监控 · 日志记录
VOC监控
21
模型训练实战(二)
Cityscapes数据集训练 · 大规模训练技巧 · 多GPU训练 · 训练问题排查
Cityscapes多GPU
22
模型优化与加速
模型剪枝 · 量化感知训练 · ONNX导出 · TensorRT部署
剪枝TensorRT
23
模型部署实战
ONNX Runtime推理 · OpenVINO部署 · 移动端部署(NCNN) · Web端部署(ONNX.js)
ONNXNCNN
24
推理引擎对比
PyTorch vs ONNX vs TensorRT性能对比 · 精度与速度权衡 · 部署选型建议
性能选型
25
实时语义分割系统
摄像头实时推理 · 视频流处理 · FPS优化 · 多线程推理架构
实时多线程
26
迁移学习与微调
预训练权重加载 · 冻结与解冻策略 · 域适应技巧 · 微调实战
迁移微调
27
模型集成与TTA
模型集成方法 · 测试时增强(TTA) · 集成策略代码实现 · 效果提升分析
集成TTA
28
项目实战:车道线分割
任务定义 · 数据集准备 · MobileViT模型适配 · 训练与评估 · 部署演示
车道线实战
29
项目实战:遥感图像分割
遥感分割特点 · DeepGlobe数据集 · 模型调整 · 结果可视化
遥感DeepGlobe
30
课程总结与进阶方向
知识体系回顾 · 前沿分割方法(SegFormer、Mask2Former) · 学习资源推荐 · 未来发展方向
总结进阶