VIP20

本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

知识蒸馏工程落地与部署优化调试全流程学习资料

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

知识蒸馏概述

什么是知识蒸馏 · 为什么需要知识蒸馏 · 知识蒸馏的三大范式（离线

知识蒸馏概述什么是知识蒸馏

教师-学生架构详解

教师模型的选择策略 · 学生模型的设计原则 · 温度系数T的作用与调参

教师学生架构详解

Logits蒸馏实战

软标签与硬标签 · KL散度损失函数 · 蒸馏损失的权重平衡

Logits蒸馏实战

特征层蒸馏

中间层特征对齐 · Attention Transfer · FitNets与NST方法对比

特征层蒸馏间层特征对齐

样本间关系保持 · Relational Knowled… · 结构关系蒸馏

关系蒸馏样本间关系保持

数据增强与蒸馏

Mixup在蒸馏中的应用 · CutMix · 数据增强对蒸馏效果的影响

数据增强蒸馏

多教师蒸馏

多教师集成策略 · 知识融合方法 · 多教师蒸馏的工程挑战

多教师蒸馏多教师集成策略

自蒸馏技术

自蒸馏原理 · Born-Again Network… · 自蒸馏的训练流程

自蒸馏技术自蒸馏原理

量化感知训练（QAT）与蒸馏结合 · PTQ蒸馏 · 混合精度蒸馏

量化蒸馏QAT

剪枝与蒸馏

结构化剪枝与非结构化剪枝 · 蒸馏辅助剪枝恢复精度 · LayerDrop与蒸馏

蒸馏在CV任务中的应用

图像分类蒸馏 · 目标检测蒸馏（FGD · PKD）

蒸馏在NLP任务中的应用

BERT蒸馏（DistilBERT · TinyBERT） · GPT模型蒸馏

蒸馏在多模态任务中的应用

视觉-语言模型蒸馏 · CLIP蒸馏 · 多模态对齐蒸馏

蒸馏多模态任务

蒸馏在推荐系统中的应用

双塔模型蒸馏 · 特征交叉蒸馏 · 在线蒸馏在推荐中的实践

蒸馏推荐系统

蒸馏框架与工具

PyTorch蒸馏实现 · Hugging Face Disti… · MMRazor与TextBrewer

蒸馏框架工具

蒸馏训练加速

梯度累积 · 混合精度训练 · 分布式蒸馏策略

蒸馏训练加速梯度累积

蒸馏模型评估

精度-效率权衡曲线 · FLOPs与参数量评估 · 端到端延迟测试

蒸馏模型评估精度

模型导出与格式转换

ONNX导出 · TorchScript · TensorRT转换中的蒸馏模型适配

模型导出格式转换

ONNX Runtime部署

ONNX Runtime推理优化 · 动态形状处理 · 蒸馏模型的ONNX兼容性

TensorRT优化流程 · FP16/INT8量化部署 · 动态batch支持

Intel平台优化 · CPU推理加速 · 蒸馏模型在OpenVINO中的适配

移动端部署

TFLite转换 · NCNN部署 · MNN框架下的蒸馏模型推理

移动端部署TFLite

服务端部署

TensorFlow Serving · TorchServe · Triton Inference S…

服务端部署TensorFlow

推理优化技术

算子融合 · 内存优化 · KV Cache优化（针对Trans…

推理优化技术算子融合

蒸馏模型调试

精度下降排查 · 梯度流分析 · 中间层输出可视化

蒸馏模型调试精度下降排查

蒸馏训练稳定性

损失震荡处理 · 学习率调度 · 教师模型冻结策略

蒸馏训练稳定性损失震荡处理

蒸馏超参数调优

温度T的网格搜索 · 损失权重λ的贝叶斯优化 · 学生模型结构搜索

蒸馏超参数调优温度T的网格搜索

蒸馏与联邦学习结合

联邦蒸馏原理 · 通信效率优化 · 异构设备适配

蒸馏联邦学习结合

蒸馏模型安全与鲁棒性

对抗攻击下的蒸馏模型 · 蒸馏模型的公平性 · 模型窃取防御

蒸馏模型安全鲁棒性

蒸馏工程最佳实践

完整蒸馏pipeline搭建 · CI/CD集成蒸馏 · 生产环境监控与回滚策略

蒸馏工程最佳实践pipeline