VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏特征迁移与推理加速优化全流程学习资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
知识蒸馏概述
什么是知识蒸馏 · 蒸馏的动机与目标 · 教师-学生网络架构
知识蒸馏概述什么是知识蒸馏
02
知识类型与迁移策略
基于响应的知识（软标签 · 硬标签） · 基于特征的知识（中间层特征图）
知识类型迁移策略
03
经典蒸馏损失函数
KL散度与温度系数 · 均方误差（MSE）与L2损失 · 对比学习损失（InfoNCE）
经典蒸馏损失函数KL
04
特征迁移核心机制
特征对齐（尺寸匹配 · 通道匹配） · 注意力迁移（AT Loss）
特征迁移核心机制特征对齐
05
中间层特征选择
教师网络层选择策略（均匀采样 · 关键层定位） · 学生网络层匹配策略
间层特征选择教师网络层选择策…
06
基于注意力的特征迁移
空间注意力图迁移 · 通道注意力图迁移 · 自注意力（Transformer）蒸…
基于注意力的特征…空间注意力图迁移
07
特征蒸馏的变体方法
FitNet（基于提示的学习） · Attention Transfer… · SP（相似性保留）
特征蒸馏的变体方…FitNet
08
关系知识蒸馏
实例关系图（IRG） · 互信息最大化 · 图神经网络蒸馏
关系知识蒸馏IRG
09
结构化知识蒸馏
结构化知识定义 · 结构化损失函数设计 · 结构化先验嵌入
结构化知识蒸馏结构化知识定义
10
多教师知识蒸馏
多教师集成策略（平均 · 加权 · 投票）
多教师知识蒸馏多教师集成策略
11
自蒸馏与在线蒸馏
自蒸馏原理（自身作为教师） · 在线蒸馏架构（DML · KDCL）
自蒸馏线蒸馏
12
模型剪枝基础
剪枝的分类（结构化/非结构化 · 全局/局部） · 剪枝粒度（权重级
模型剪枝基础剪枝的分类
13
剪枝与蒸馏的协同
先剪枝后蒸馏 · 先蒸馏后剪枝 · 联合训练框架
剪枝蒸馏的协同
14
量化基础
量化原理（对称/非对称 · 线性/非线性） · 量化精度（FP32
量化基础量化原理
15
量化与蒸馏的协同
量化感知蒸馏（QKD） · 蒸馏辅助量化校准 · 量化模型的蒸馏微调
量化蒸馏的协同
16
模型结构轻量化设计
深度可分离卷积 · 分组卷积 · 瓶颈结构（MobileNet
模型结构轻量化设…深度可分离卷积
17
知识蒸馏在轻量化网络中的应用
MobileNet蒸馏 · ShuffleNet蒸馏 · TinyBERT蒸馏
知识蒸馏轻量化网络
18
推理加速硬件适配
CPU推理优化（MKL-DNN · ONNX Runtime） · GPU推理优化（TensorRT
推理加速硬件适配CPU
19
算子融合与图优化
算子融合策略（Conv+BN · Conv+ReLU） · 计算图优化（常量折叠
算子融合图优化
20
内存优化与访存优化
内存复用策略 · 张量重计算 · 访存带宽优化
内存优化访存优化
21
批处理与动态形状优化
动态批处理策略 · 动态形状推理 · 连续批处理（Continuous B…
批处理动态形状优化
22
蒸馏与量化的联合训练框架
端到端联合优化 · 交替优化策略 · 多目标损失平衡
蒸馏量化的联合训练框…
23
蒸馏与剪枝的联合训练框架
结构化稀疏蒸馏 · 软掩码剪枝蒸馏 · 渐进式蒸馏剪枝
蒸馏剪枝的联合训练框…
24
蒸馏与神经架构搜索（NAS）
蒸馏感知的搜索空间设计 · 蒸馏作为搜索奖励 · One-Shot蒸馏NAS
NAS蒸馏
25
蒸馏在计算机视觉中的应用
图像分类蒸馏（ResNet · ViT） · 目标检测蒸馏（Faster R-CN…
蒸馏计算机视觉
26
蒸馏在自然语言处理中的应用
BERT蒸馏（DistilBERT · TinyBERT · MobileBERT）
蒸馏自然语言处理
27
蒸馏在多模态模型中的应用
视觉-语言模型蒸馏（CLIP · BLIP） · 多模态特征对齐蒸馏
蒸馏多模态模型
28
蒸馏工具与框架
PyTorch蒸馏工具包（torch… · KD_Lib） · TensorFlow蒸馏工具（TF-…
蒸馏工具框架
29
蒸馏模型评估与调试
蒸馏效果评估指标（准确率 · 推理速度 · 模型大小）
蒸馏模型评估调试
30
全流程实战案例
从预训练教师到轻量化学生 · 蒸馏+剪枝+量化全流程 · 端到端部署流水线
全流程实战案例从预训练教师到轻…