VIP20

本课程属于：042-MobileViT AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

知识蒸馏提升MobileViT部署精度实战

📚 共计 30 章节

课程导论与MobileViT基础

知识蒸馏为什么能提升部署精度？MobileViT架构速览、课程目标与学习路径。

导论MobileViT

知识蒸馏核心原理

什么是知识蒸馏？软标签与硬标签、温度参数T的作用、蒸馏损失函数（KL散度）。

教师网络选择策略

为什么选大模型做教师？ResNet-50 vs EfficientNet、教师网络预训练技巧、选型经验。

教师网络选型

MobileViT架构深度拆解

MobileNet与Transformer的融合、MobileViT Block结构、局部与全局特征提取。

架构Transformer

部署环境搭建

ONNX Runtime安装、TensorRT配置、CoreML工具链、我踩过的环境坑。

数据准备与增强

ImageNet子集准备、数据增强策略（RandAugment、MixUp）、蒸馏专用数据加载器。

软标签蒸馏实战

计算教师网络logits、温度缩放、KL散度损失实现、代码逐行讲解。

软标签实战

特征层蒸馏方法

FitNet、Attention Transfer、SPKD、哪家强？我的对比实验。

特征层对比

关系蒸馏（RKD）

样本间关系保持、距离与角度蒸馏、在MobileViT上的适配。

自蒸馏与在线蒸馏

无需教师的自蒸馏、双分支在线蒸馏、训练效率对比。

自蒸馏在线

蒸馏超参数调优

温度T、损失权重α、学习率策略、贝叶斯搜索实战。

超参数调优

MobileViT-Small蒸馏实战

完整训练脚本、日志分析、精度对比表。

MobileViT-XS蒸馏实战

极轻量模型的蒸馏技巧、防止过拟合、我的调参心得。

MobileViT-XXS蒸馏实战

超轻量模型蒸馏挑战、梯度截断、稳定性技巧。

ONNX导出与优化

torch.onnx.export详解、动态轴设置、算子融合、精度验证。

TensorRT部署加速

FP16/INT8量化、动态batch、TensorRT Profiling、延迟测试。

CoreML部署实战

iOS端部署、ANE加速、模型转换踩坑记、性能调优。

量化感知蒸馏（QAT-Distill）

联合训练量化与蒸馏、伪量化节点、精度恢复。

结构化剪枝+蒸馏

通道剪枝、稀疏训练、蒸馏恢复精度、压缩比与精度权衡。

多教师蒸馏

集成多个教师、知识融合策略、在MobileViT上的效果。

多教师集成

跨架构蒸馏

CNN教师教Transformer学生、MobileNet教师教MobileViT、适配层设计。

跨架构适配

蒸馏在检测任务中的应用

SSD-MobileViT蒸馏、YOLO-NAS蒸馏、mAP提升案例。

蒸馏在分割任务中的应用

DeepLabV3-MobileViT蒸馏、mIoU提升、边界优化。

蒸馏在分类任务中的应用

ImageNet分类蒸馏、Top-1/Top-5精度、消融实验。

蒸馏工具库使用

Textbooks、Distiller、MMRazor、我的推荐与对比。

自动化蒸馏流水线

AutoML蒸馏、超参数自动搜索、实验管理（Wandb/MLflow）。

AutoML流水线

蒸馏模型部署测试

端侧推理延迟、内存占用、功耗测试、完整报告模板。

工业级案例1：手机端人脸识别

模型蒸馏、从6MB到1.5MB、精度仅降0.3%。

工业级案例2：智能摄像头检测

YOLOv8m → MobileViT、FPS翻倍、精度保持。

检测摄像头

课程总结与进阶方向

蒸馏最新解读、未来趋势、学习资源推荐、Q&A。