VIP8
本课程属于：006-模型蒸馏与压缩部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NLP蒸馏特征迁移训练与模型压缩优化全流程案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与背景
为什么需要模型压缩？蒸馏与特征迁移的…
课程导论背景
02
环境搭建与工具链
PyTorch · Transformers · ONNX
环境搭建工具链
03
教师模型选型
BERT · RoBERTa · 系列的选择标准与预训练权重加载
教师模型选型BERT
04
学生模型设计
轻量级Transformer（Tin… · DistilBERT）架构解析
学生模型设计Transformer
05
知识蒸馏基础
软标签（Soft Label）与硬标…
知识蒸馏基础Soft
06
特征迁移原理
中间层特征对齐（MSE Loss · Cosine Similarity）
特征迁移原理MSE
07
注意力迁移（Attention Transfer）
让学生的注意力分布模仿教师
AttentionTransfer
08
隐藏状态迁移（Hidden State Transfer）
逐层蒸馏与跨层蒸馏策略
HiddenState
09
关系蒸馏（Relational Distillation）
样本间关系保持（PKT · RKD）
RelationalDistillation
10
数据增强与蒸馏
无标签数据利用（Self-Train… · Noisy Student）
数据增强蒸馏
11
课程蒸馏（Curriculum Distillation）
由易到难的训练策略
CurriculumDistillation
12
多教师蒸馏（Multi-Teacher Distillation）
集成多个教师模型的知识
Multi-Teache…Distillation
13
对抗性蒸馏（Adversarial Distillation）
生成对抗样本提升鲁棒性
AdversarialDistillation
14
量化感知训练（QAT）
在蒸馏过程中同步量化
QAT量化感知训练
15
剪枝与蒸馏结合
结构化剪枝（L1 · L2）与非结构化剪枝
剪枝蒸馏结合
16
权重共享与参数重映射
学生模型参数初始化技巧
权重共享参数重映射
17
蒸馏训练超参数调优
学习率 · 温度系数（Temperature） · 损失权重
蒸馏训练超参数调…学习率
18
蒸馏训练监控
TensorBoard可视化损失曲线…
蒸馏训练监控TensorBoard
19
模型导出与优化
ONNX导出 · FP16/INT8量化
模型导出优化
20
TensorRT加速
动态批处理 · 层融合 · 内存优化
TensorRT加速
21
边缘端部署
Android/iOS端集成（NCN… · MNN）
边缘端部署Android/iOS
22
服务端部署
TorchServe · Triton Inference S…
服务端部署TorchServe
23
性能评估指标
准确率 · F1 · 推理延迟
性能评估指标准确率
24
案例实战1
BERT-base蒸馏到TinyBE…
案例实战1BERT-base
25
案例实战2
蒸馏到DistilGPT（…
案例实战2
26
案例实战3
多模态模型蒸馏（CLIP到轻量级视觉…
案例实战3CLIP
27
案例实战4
序列标注任务蒸馏（NER · POS Tagging）
案例实战4NER
28
案例实战5
对话系统蒸馏（Retrieval-A…
案例实战5Retrieval-A
29
常见问题与调试
梯度消失 · 模式坍塌 · 训练不稳定
常见问题调试
30
课程总结与未来趋势
自动化蒸馏（AutoDistill） · 大模型蒸馏前沿
课程总结未来趋势