VIP20

本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NLP蒸馏特征迁移与模型压缩实战训练学习资料

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是模型压缩？为什么需要蒸馏？知识… · 在线 · 自蒸馏）

课程导论什么是模型压缩？…

软标签与硬标签

温度系数T的作用 · 软标签的生成 · KL散度损失函数详解

软标签硬标签

Logits蒸馏实战

基于HuggingFace Trai… · 蒸馏温度与alpha调参实验

Logits蒸馏实战

中间层特征迁移

FitNet方法 · 注意力迁移（AT） · 基于MSE的隐层对齐

间层特征迁移FitNet

基于关系的蒸馏

PKT（概率知识迁移） · RKD（关系知识蒸馏） · 对比学习在蒸馏中的应用

基于关系的蒸馏PKT

数据增强与蒸馏

无标签数据的利用 · Mixup在蒸馏中的作用 · 对抗训练增强鲁棒性

数据增强蒸馏

结构化剪枝 vs 非结构化剪枝 · L1/L2范数剪枝 · 基于重要度的剪枝策略

使用torch-pruning对BE… · 剪枝率对性能的影响分析

剪枝实战torch-prunin…

FP32 vs INT8 · 对称量化与非对称量化 · 校准数据集与量化误差

量化基础FP32

使用PyTorch FX对Trans…

量化实战PyTorch

SVD分解全连接层 · 矩阵分解对Embedding层的压缩 · Tucker分解

低秩分解SVD

权重共享与参数绑定

ALBERT的跨层参数共享 · 跨头参数共享 · 效果与效率权衡

权重共享参数绑定

轻量级架构设计

TinyBERT · DistilBERT · MobileBERT的设计思路与对比

轻量级架构设计TinyBERT

蒸馏+剪枝联合压缩

两阶段策略 · 交替优化策略 · 联合训练策略

蒸馏+剪枝联合压…两阶段策略

蒸馏+量化联合压缩

量化感知蒸馏（QAT+KD） · 蒸馏辅助量化校准

蒸馏+量化联合压…QAT+KD

多教师蒸馏

多教师集成策略 · 知识加权融合 · 教师选择与淘汰机制

多教师蒸馏多教师集成策略

跨模态蒸馏

视觉-语言模型蒸馏（如CLIP蒸馏） · 模态对齐损失

跨模态蒸馏CLIP

自蒸馏原理 · 深度监督（Deep Supervis… · 自蒸馏在训练加速中的应用

自蒸馏自蒸馏原理

双模型协同训练 · DML（Deep Mutual Le… · 在线蒸馏的稳定性

线蒸馏双模型协同训练

蒸馏在生成任务中的应用

Seq2Seq蒸馏 · 非自回归蒸馏 · 对比搜索蒸馏

蒸馏生成任务

蒸馏在检索任务中的应用

双塔模型蒸馏 · 交叉蒸馏 · 稠密检索蒸馏

蒸馏检索任务

蒸馏在序列标注任务中的应用

CRF层蒸馏 · 边界蒸馏 · 标签分布蒸馏

蒸馏序列标注任务

蒸馏工具与框架

TextBrewer · Distiller · HuggingFace蒸馏接口

蒸馏工具框架

模型部署与推理优化

ONNX导出 · TensorRT加速 · vLLM推理框架

模型部署推理优化

蒸馏模型评估体系

精度-速度权衡曲线 · FLOPs与参数量计算 · 延迟与吞吐量测试

蒸馏模型评估体系精度

蒸馏中的过拟合问题

教师模型过强导致学生欠拟合 · 温度退火策略 · 数据增强缓解

蒸馏过拟合问题

蒸馏中的灾难性遗忘

增量蒸馏 · 回放机制 · 弹性权重巩固（EWC）

蒸馏灾难性遗忘

大规模蒸馏实践

百亿参数教师蒸馏到十亿参数学生 · 分布式蒸馏策略

大规模蒸馏实践百亿参数教师蒸馏…

蒸馏前沿进展

MiniLLM · DeepSeek-R1蒸馏 · 思维链蒸馏（CoT Distilla…

蒸馏前沿进展MiniLLM

综合实战项目

从BERT-base蒸馏到TinyB… · 完成剪枝+量化+蒸馏全流程 · 部署到移动端

综合实战项目BERT-base