VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

特征迁移与模型压缩实战训练优化全流程调试案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与全景图
特征迁移与模型压缩的核心价值 · 应用场景（端侧部署 · 云端推理）
课程导论全景图
02
环境搭建与工具链准备
PyTorch/TensorFlow… · ONNX · TensorRT
环境搭建工具链准备
03
基线模型构建与基准测试
选择一个经典模型（如ResNet-5… · 完成训练 · 评估与性能基准（FLOPs
基线模型构建基准测试
04
特征迁移基础
什么是特征迁移？Domain Ada… · Fine-tuning · 知识蒸馏的核心思想与区别
特征迁移基础Domain
05
知识蒸馏实战（一）
教师-学生网络架构设计 · 温度系数（Temperature）与…
知识蒸馏实战教师
06
知识蒸馏实战（二）
蒸馏损失函数设计（KL散度 · MSE） · 训练脚本编写与调参技巧
知识蒸馏实战KL
07
知识蒸馏实战（三）
多教师蒸馏 · 自蒸馏 · 在线蒸馏等进阶策略与代码实现
知识蒸馏实战多教师蒸馏
08
模型剪枝基础
结构化剪枝 vs 非结构化剪枝 · L1/L2正则化剪枝 · 基于BN层权重的通道剪枝原理
模型剪枝基础vs
09
模型剪枝实战（一）
使用PyTorch实现基于L1范数的… · 编写剪枝脚本
模型剪枝实战PyTorch
10
模型剪枝实战（二）
剪枝后模型微调（Fine-tune）… · 恢复精度技巧 · 避免过剪枝
模型剪枝实战Fine-tune
11
模型量化基础
量化原理（对称/非对称量化 · 线性量化） · FP32/FP16/INT8/INT…
模型量化基础量化原理
12
模型量化实战（一）
PyTorch后训练量化（PTQ）—…
模型量化实战PyTorch
13
模型量化实战（二）
量化感知训练（QAT）——插入Fak… · 训练与校准
模型量化实战QAT
14
模型量化实战（三）
混合精度量化（部分层INT8 · 部分层FP16）与硬件适配（NVID… · ARM CPU）
模型量化实战INT8
15
模型结构重参数化
RepVGG · DBB等结构重参数化技术原理 · 训练时多分支
模型结构重参数化RepVGG
16
模型结构重参数化实战
使用RepVGG思想改造现有模型 · 实现训练与推理的解耦
模型结构重参数化…RepVGG
17
轻量化网络设计
MobileNet · ShuffleNet · EfficientNet-Lite等…
轻量化网络设计MobileNet
18
ONNX模型导出与优化
将PyTorch/TF模型导出为ON… · 使用ONNX Simplifier进…
ONNX模型导出
19
TensorRT部署实战（一）
ONNX转TensorRT引擎（En… · 动态shape处理 · FP16/INT8精度配置
TensorRT部署实战
20
TensorRT部署实战（二）
TensorRT C++/Pytho… · 多流推理 · 性能Profiling
TensorRT部署实战
21
NCNN部署实战
模型转换（ONNX2NCNN） · NCNN推理代码编写 · ARM平台优化（汇编级算子）
NCNN部署实战
22
OpenVINO部署实战
模型转换（MO工具） · 推理引擎使用 · Intel CPU/GPU/VPU异…
OpenVINO部署实战
23
端侧部署综合案例
将压缩后的模型部署到Android/… · 使用MNN/TNN/NCNN进行推理
端侧部署综合案例Android
24
模型压缩与部署全流程Pipeline搭建
使用Python脚本串联训练->剪枝…
Pipeline模型压缩
25
性能分析与Profiling
使用PyTorch Profiler · NVIDIA Nsight · Perf等工具定位瓶颈（计算瓶颈
Profiling性能分析
26
精度与速度的权衡
绘制精度-速度曲线（Pareto F… · 根据业务需求选择最优压缩策略
精度速度的权衡
27
常见踩坑与调试技巧
量化后精度暴跌 · 剪枝后模型不收敛 · ONNX算子不支持等问题的排查与解决
常见踩坑调试技巧
28
模型安全与鲁棒性
压缩后模型的对抗鲁棒性评估 · 防御蒸馏（Defensive Dis…
模型安全鲁棒性
29
前沿技术展望
自动化压缩（AutoML for C… · 大模型压缩（LLM量化 · LoRA）
前沿技术展望AutoML
30
综合实战大作业
从零开始 · 对一个自定义数据集（如CIFAR-1… · 输出最终报告与可运行Demo
综合实战大作业从零开始