VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NLP蒸馏模型压缩调试与性能优化实战训练指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏技术全景
知识蒸馏的起源 · 核心思想（Teacher-Stude… · 三大蒸馏范式（离线
蒸馏技术全景知识蒸馏的起源
02
软标签与硬标签
温度系数T的作用机制 · 软标签损失函数（KL散度）推导 · 硬标签与软标签的加权融合策略
软标签硬标签
03
中间层蒸馏
隐藏状态对齐（MSE损失） · 注意力矩阵迁移（Attention… · Representation Mat…
间层蒸馏MSE
04
Logit蒸馏进阶
Logit标准化技巧 · NAT（Neuron Attenti… · 动态温度调节策略
Logit蒸馏进阶
05
关系蒸馏（Relational KD）
样本间关系保持（PKT · RKD） · 结构关系蒸馏（Graph-based…
RelationalKD
06
数据增强蒸馏
Mixup在蒸馏中的应用 · 对抗训练蒸馏（Adversarial… · 无监督数据增强（UDA）蒸馏
数据增强蒸馏Mixup
07
多教师蒸馏
多教师集成策略（平均/加权/投票） · 知识冲突处理 · 异步多教师蒸馏框架
多教师蒸馏多教师集成策略
08
跨模态蒸馏
视觉-语言模型蒸馏（CLIP蒸馏） · 多模态对齐蒸馏 · 跨模态特征迁移
跨模态蒸馏CLIP
09
自蒸馏（Self-Distillation）
自蒸馏原理 · 深度监督（Deep Supervis… · Born-Again Network…
Self-Distill…自蒸馏
10
量化感知蒸馏（QAT+KD）
量化感知训练基础 · 蒸馏辅助量化（LSQ+KD） · 混合精度蒸馏策略
QAT+KD量化感知蒸馏
11
剪枝与蒸馏联合
结构化剪枝+蒸馏 · 非结构化剪枝+蒸馏 · One-Shot剪枝蒸馏框架
剪枝蒸馏联合
12
神经架构搜索（NAS）+蒸馏
One-Shot NAS蒸馏 · 可微分架构搜索（DARTS）蒸馏 · 蒸馏引导的架构搜索
NAS神经架构搜索
13
Transformer蒸馏（一）
BERT蒸馏（DistilBERT · TinyBERT） · 层数缩减策略
Transformer蒸馏
14
Transformer蒸馏（二）
GPT系列蒸馏（GPT-2/3/4） · 自回归模型蒸馏难点 · 因果掩码处理
Transformer蒸馏
15
Transformer蒸馏（三）
T5/BART蒸馏 · Encoder-Decoder结构蒸… · Seq2Seq蒸馏策略
Transformer蒸馏
16
蒸馏工具与框架
TextBrewer · Hugging Face Disti… · NVIDIA TensorRT蒸馏工…
蒸馏工具框架
17
蒸馏训练调试（一）
损失函数权重调优 · 温度系数T的网格搜索 · 学习率与优化器选择
蒸馏训练调试损失函数权重调优
18
蒸馏训练调试（二）
梯度冲突检测 · 训练稳定性监控（Loss曲线 · Accuracy曲线）
蒸馏训练调试梯度冲突检测
19
性能评估指标
学生模型准确率 · 推理速度（Latency/Throu… · 模型大小（Params/FLOPs）
性能评估指标学生模型准确率
20
蒸馏失败案例分析
知识迁移不足 · 教师模型过强导致过拟合 · 学生模型容量瓶颈
蒸馏失败案例分析知识迁移不足
21
工业级蒸馏流水线
数据预处理与缓存 · 分布式蒸馏训练 · 模型版本管理与回滚
工业级蒸馏流水线数据预处理
22
边缘端部署蒸馏
ONNX导出与优化 · TensorRT INT8量化蒸馏 · 移动端（TFLite/ CoreML…
边缘端部署蒸馏ONNX
23
蒸馏与联邦学习结合
联邦蒸馏（FedKD） · 隐私保护蒸馏 · 异构客户端蒸馏
蒸馏联邦学习结合
24
蒸馏与持续学习结合
增量蒸馏（Incremental K… · 灾难性遗忘缓解 · 动态扩展蒸馏
蒸馏持续学习结合
25
蒸馏在信息检索中的应用
双编码器蒸馏（ColBERT） · 交叉编码器蒸馏 · 稠密检索蒸馏
蒸馏信息检索
26
蒸馏在对话系统中的应用
生成式对话蒸馏 · 检索式对话蒸馏 · 多轮对话蒸馏
蒸馏对话系统
27
蒸馏在情感分析中的应用
细粒度情感蒸馏 · 多标签情感蒸馏 · 跨语言情感蒸馏
蒸馏情感分析
28
蒸馏在命名实体识别（NER）中的应用
序列标注蒸馏 · CRF层蒸馏 · 嵌套NER蒸馏
NER蒸馏
29
蒸馏在文本分类中的应用
多标签分类蒸馏 · 层次分类蒸馏 · 零样本分类蒸馏
蒸馏文本分类
30
蒸馏前沿与未来
大模型蒸馏（LLM Distilla… · 多模态大模型蒸馏 · 蒸馏与AI安全（对抗鲁棒性）
蒸馏前沿未来