VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

蒸馏训练工程部署与性能优化全流程调试指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏技术全景
知识蒸馏的动机与原理 · 教师-学生网络架构 · 蒸馏的三大范式（离线/在线/自蒸馏）
蒸馏技术全景知识蒸馏的动机
02
教师模型选型
教师模型的选择策略 · 大模型与小模型的权衡 · 集成教师与单教师的选择
教师模型选型教师模型的选择策…
03
学生模型设计
学生网络架构设计原则 · 轻量化模型家族（MobileNet/… · 学生模型容量与蒸馏收益的关系
学生模型设计学生网络架构设计…
04
蒸馏损失函数
软标签损失（KL散度/交叉熵） · 硬标签损失 · 中间层特征匹配损失（FitNet/A…
蒸馏损失函数KL
05
温度参数调优
温度T的作用机理 · 温度搜索策略 · 不同任务的最佳温度范围
温度参数调优温度T的作用机理
06
蒸馏训练策略
两阶段训练法与联合训练法 · 渐进式蒸馏 · 多教师蒸馏
蒸馏训练策略两阶段训练法
07
中间层对齐技术
特征图对齐（FitNet） · 注意力迁移（AT） · 流形学习（SP）
间层对齐技术FitNet
08
结构化知识蒸馏
基于关系的蒸馏 · 基于图结构的蒸馏 · 基于互信息的蒸馏
结构化知识蒸馏基于关系的蒸馏
09
量化感知蒸馏
量化基础知识（PTQ/QAT） · 蒸馏与量化的协同 · LSQ+蒸馏
量化感知蒸馏PTQ/QAT
10
剪枝与蒸馏联合
结构化剪枝与非结构化剪枝 · 剪枝-蒸馏交替训练 · 一次剪枝多次蒸馏
剪枝蒸馏联合
11
蒸馏训练工程框架
主流蒸馏框架对比（TextBrewe… · 自定义蒸馏Trainer · 配置化蒸馏流水线
蒸馏训练工程框架TextBrewe
12
数据加载与预处理优化
高性能数据加载器设计 · 分布式数据增强（NVIDIA DAL… · 内存映射与缓存策略
数据加载预处理优化
13
分布式蒸馏训练
数据并行与模型并行 · 梯度累积与同步 · 混合精度训练（AMP）
分布式蒸馏训练数据并行
14
训练监控与可视化
损失曲线分析 · 温度与KL散度的关系可视化 · 中间层特征可视化
训练监控可视化
15
模型导出与格式转换
PyTorch导出ONNX · ONNX转TensorRT · CoreML导出
模型导出格式转换
16
ONNX与TensorRT优化
ONNX算子兼容性修复 · TensorRT动态形状配置 · INT8校准与量化
ONNXTensorRT
17
移动端部署（NCNN/MNN）
NCNN模型转换与优化 · MNN推理引擎配置 · 移动端CPU/GPU异构计算
NCNN/MNN移动端部署
18
服务端部署（Triton/Serving）
Triton Inference S… · 动态批处理与并发模型 · 模型版本管理
Triton/Servi…服务端部署
19
边缘端部署（OpenVINO/TensorRT）
OpenVINO模型优化 · 边缘设备资源约束适配 · 异构计算（CPU+GPU+VPU）
OpenVINO/Ten…边缘端部署
20
推理引擎基准测试
延迟与吞吐量测试 · 内存占用分析 · 功耗测试
推理引擎基准测试延迟
21
性能Profiling工具
PyTorch Profiler · NVIDIA Nsight Syst… · TensorBoard Profil…
Profiling性能
22
算子级优化
算子融合策略 · 内存布局优化（NHWC vs NCH… · 卷积算法选择（cuDNN/Tenso…
算子级优化算子融合策略
23
内存优化技术
显存复用与池化 · 梯度检查点 · 激活值压缩
内存优化技术显存复用
24
推理加速技术
模型量化（INT8/FP16） · 知识蒸馏与推理加速的协同 · 稀疏化推理
推理加速技术INT8/FP16
25
端到端调试流程
从训练到部署的完整调试链路 · 常见错误模式与解决方案 · 回归测试体系
端到端调试流程从训练到部署的完…
26
精度对齐与调试
PyTorch与ONNX精度对比 · FP32与INT8精度损失分析 · 逐层精度调试
精度对齐调试
27
性能瓶颈定位
CPU/GPU利用率分析 · I/O瓶颈诊断 · 算子执行时间分析
性能瓶颈定位CPU/GPU
28
A/B测试与灰度发布
在线A/B测试设计 · 模型版本灰度策略 · 监控指标设计
A/B测试
29
生产环境稳定性
模型热更新 · 故障转移与容错 · 性能退化检测
生产环境稳定性模型热更新
30
全流程案例实战
从ResNet50蒸馏到Mobile… · ONNX导出与TensorRT优化 · Triton部署与性能调优
全流程案例实战ResNet50