VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏工程落地与推理加速优化实战训练指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
知识蒸馏概述
什么是知识蒸馏 · 为什么需要知识蒸馏 · 知识蒸馏的三大范式（离线
知识蒸馏概述什么是知识蒸馏
02
知识蒸馏的理论基础
信息论视角下的知识蒸馏 · Bias-Variance Trad… · 温度系数T的数学含义与调参策略
知识蒸馏的理论基…信息论视角下的知…
03
Logits蒸馏实战
基于KL散度的经典蒸馏损失实现 · PyTorch代码逐行解析 · 温度系数与损失权重的协同调优
Logits蒸馏实战
04
Feature蒸馏实战
FitNet · AT（Attention Trans… · SP（Similarity Pres…
Feature蒸馏实战
05
Relation蒸馏实战
PKT（Probabilistic… · RKD（Relational Kno… · 图结构蒸馏的尝试
Relation蒸馏实战
06
自蒸馏与在线蒸馏
Deep Mutual Learni… · Born-Again Network… · 在线蒸馏的工程实现（双分支/环形架构…
自蒸馏线蒸馏
07
结构化知识蒸馏
针对CNN（卷积层 · BN层）和Transformer（A… · FFN层）的结构化蒸馏策略
结构化知识蒸馏CNN
08
目标检测蒸馏实战（一）
基于Faster R-CNN的蒸馏方… · 回归头 · RPN特征）
目标检测蒸馏实战Faster
09
目标检测蒸馏实战（二）
基于YOLO系列的轻量化蒸馏（Fea… · Channel-wise Disti… · NMS环节的蒸馏优化
目标检测蒸馏实战YOLO
10
NLP模型蒸馏实战
BERT蒸馏（DistilBERT · TinyBERT · MobileBERT）的逐层映射策略
NLP模型蒸馏实战
11
多模态模型蒸馏实战
CLIP/ViLT等视觉-语言模型的… · 跨模态对齐损失的蒸馏实现
多模态模型蒸馏实…CLIP/ViLT
12
生成式模型蒸馏实战
GAN的蒸馏（SNGAN · BigGAN压缩） · Diffusion Model的蒸馏…
生成式模型蒸馏实…GAN
13
推荐系统蒸馏实战
双塔模型蒸馏 · 序列推荐模型蒸馏 · 多任务学习场景下的蒸馏策略
推荐系统蒸馏实战双塔模型蒸馏
14
蒸馏中的训练技巧
课程学习策略 · 渐进式蒸馏 · 动态温度调整
蒸馏训练技巧
15
模型剪枝基础
结构化剪枝（Channel/Filt… · L1/L2范数剪枝原理
模型剪枝基础Channel/Filt
16
剪枝实战与重训练
基于Torch-Pruning的自动… · 剪枝后模型微调策略 · 学习率重调度
剪枝实战重训练
17
量化基础
对称/非对称量化 · 逐层/逐通道量化 · MinMax/Percentile/…
量化基础对称
18
量化感知训练（QAT）实战
FakeQuantize节点插入 · 直通估计器（STE）原理 · BN层融合技巧
QAT量化感知训练
19
后训练量化（PTQ）实战
基于Calibration Data… · REP方法（Round-to-Nea… · AdaRound算法
PTQ后训练量化
20
算子融合与图优化
Conv+BN+ReLU融合 · LayerNorm融合 · FlashAttention原理与工…
算子融合图优化
21
TensorRT加速实战
ONNX导出踩坑指南 · TensorRT动态shape处理 · INT8量化校准
TensorRT加速实战
22
ONNX Runtime与OpenVINO实战
ONNX Runtime的C++/P… · OpenVINO的模型优化与推理 · 异构计算
ONNXRuntime
23
Triton Inference Server实战
模型仓库管理 · 动态批处理 · 并发模型执行
TritonInference
24
移动端与边缘端部署
NCNN/TNN/MNN框架对比 · 模型转换与优化 · 端侧NPU/GPU加速
移动端边缘端部署
25
模型压缩与加速的联合优化
蒸馏+剪枝+量化的pipeline设… · 三者的协同效应与冲突解决
模型压缩加速的联合优化
26
推理性能分析与调优
Profiling工具（Nsight · PyTorch Profiler · TensorBoard）
推理性能分析调优
27
分布式推理与模型并行
Tensor Parallelism · Pipeline Paralleli… · Sequence Paralleli…
分布式推理模型并行
28
模型安全与鲁棒性蒸馏
对抗训练蒸馏 · 差分隐私蒸馏 · 模型水印与蒸馏保护
模型安全鲁棒性蒸馏
29
AutoML与知识蒸馏
NAS蒸馏（Once-for-All · BigNAS） · 超参数自动搜索（温度
AutoML知识蒸馏
30
知识蒸馏前沿与未来趋势
大模型蒸馏（LLM · VLM） · 多教师蒸馏
知识蒸馏前沿未来趋势