VIP20

本课程属于：027-Edge AI模型压缩：剪枝、蒸馏与稀疏化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

4. Edge AI知识蒸馏：大模型指导小模型训练方法

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 知识蒸馏在Edge AI中的价值与典…

课程导入学习目标

边缘计算与端侧推理的挑战 · 资源约束（算力 · 内存

大模型与小模型

大模型的能力优势 · 小模型的部署优势 · 为什么需要知识蒸馏来桥接两者

大模型小模型

知识蒸馏核心概念

教师模型 · 学生模型 · 软标签

知识蒸馏核心概念教师模型

知识蒸馏发展脉络

从Hinton经典蒸馏到特征蒸馏 · 关系蒸馏 · 对比蒸馏等现代变体

知识蒸馏发展脉络Hinton

软标签与温度调节

温度T的作用 · 软标签的信息熵 · 如何选择合适温度提升学生模型泛化

软标签温度调节

蒸馏损失函数设计

交叉熵 · KL散度 · MSE

蒸馏损失函数设计交叉熵

经典蒸馏方法详解

Hinton KD · FitNets · AT（Attention Trans…

经典蒸馏方法详解Hinton

特征蒸馏方法

利用中间层特征图 · 注意力图 · 特征变换（如1x1卷积对齐维度）进行…

特征蒸馏方法利用

关系蒸馏方法

样本间关系（距离 · 相似度 · 拓扑）作为知识

关系蒸馏方法样本间关系

对比蒸馏方法

利用对比学习思想 · 拉近师生表示 · 推开负样本

对比蒸馏方法利用对比学习思想

量化感知蒸馏

结合模型量化（INT8/INT4）与… · 解决量化精度损失问题

量化感知蒸馏INT8/INT4

剪枝与蒸馏结合

结构化剪枝后如何用蒸馏恢复精度 · 稀疏训练与蒸馏的协同

剪枝蒸馏结合

神经架构搜索（NAS）与蒸馏

自动搜索学生网络结构 · 蒸馏作为评估与训练手段

NAS神经架构搜索

自蒸馏与在线蒸馏

教师模型与学生模型同步更新 · 多学生互蒸馏 · 无教师蒸馏

自蒸馏线蒸馏

跨模态蒸馏

从视觉大模型到轻量模型 · 文本到图像 · 多模态知识迁移

跨模态蒸馏从视觉大模型到轻…

数据增强与蒸馏

如何利用无标注数据 · 伪标签 · Mixup/Cutout等增强策略提…

数据增强蒸馏

蒸馏训练技巧

学习率调度 · 优化器选择 · 梯度累积

蒸馏训练技巧学习率调度

Edge AI部署流程

从训练到转换（ONNX/TFLite… · 量化 · 编译

图像分类——用ResNet-50蒸馏… · 在树莓派上部署

实战案例1ResNet-50

目标检测——用YOLOv8大模型蒸馏… · 在Jetson Nano上实时推理

实战案例2YOLOv8

语义分割——用DeepLabV3+蒸… · 在手机端运行

实战案例3DeepLabV3+

语音识别——用Whisper蒸馏小型… · 在嵌入式设备上离线识别

实战案例4Whisper

自然语言处理——用BERT蒸馏Tin… · 在移动端进行情感分析

实战案例5BERT

蒸馏工具与框架

PyTorch · TensorFlow · MMRazor

蒸馏工具框架

蒸馏效果评估

准确率 · 模型大小 · 推理延迟

蒸馏效果评估准确率

常见问题与调试

温度过高/过低 · 损失权重失衡 · 师生差距过大

常见问题调试

蒸馏的局限性与挑战

知识表示瓶颈 · 任务适配 · 数据分布偏移

蒸馏的局限性挑战

大模型蒸馏到小模型 · 联邦蒸馏 · 持续蒸馏

前沿趋势大模型蒸馏到小模…

综合项目实战

从需求分析 · 模型选型 · 蒸馏训练

综合项目实战从需求分析