VIP10
本课程属于：084-自动驾驶模型压缩量化与边缘优化 智能汽车与新能源汽车工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏与多任务模型压缩工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=知识蒸馏与多任务模型压缩工程的… · 核心概念 · 整体框架与典型应用场景
课程导入目标=知识蒸馏
02
模型压缩基础
目标=参数剪枝 · 量化 · 低秩分解
模型压缩基础目标=参数剪枝
03
知识蒸馏入门
目标=教师-学生范式 · 软标签 · 温度系数
知识蒸馏入门目标=教师
04
知识类型与蒸馏信号
目标=响应蒸馏 · 特征蒸馏 · 关系蒸馏
知识类型蒸馏信号
05
多任务学习基础
目标=硬参数共享 · 软参数共享 · 任务相关性
多任务学习基础目标=硬参数共享
06
多任务模型压缩挑战
目标=参数冗余 · 任务干扰 · 共享容量瓶颈
多任务模型压缩挑…目标=参数冗余
07
知识蒸馏核心方法
目标=Logit匹配 · 中间层对齐 · 提示学习蒸馏
知识蒸馏核心方法Logit
08
多任务知识蒸馏架构
目标=共享教师 · 多教师 · 任务特定教师
多任务知识蒸馏架…目标=共享教师
09
蒸馏损失设计
目标=KL散度 · MSE · 余弦相似度
蒸馏损失设计KL
10
多任务压缩中的参数共享策略
目标=共享主干 · 任务适配器 · 动态网络
多任务压缩参数共享策略
11
量化与蒸馏结合
目标=量化感知训练 · 低比特蒸馏 · 量化教师与学生协同优化
量化蒸馏结合
12
剪枝与蒸馏结合
目标=结构化剪枝 · 非结构化剪枝 · 剪枝后蒸馏恢复与迭代压缩流程
剪枝蒸馏结合
13
神经架构搜索与蒸馏
目标=NAS引导的学生架构设计 · 硬件感知搜索与蒸馏协同优化
神经架构搜索蒸馏
14
多任务模型压缩评估指标
目标=精度 · 参数量 · FLOPs
多任务模型压缩评…目标=精度
15
实验设计与消融分析
目标=基线选择 · 控制变量 · 蒸馏温度与权重调参
实验设计消融分析
16
案例实战一
目标=计算机视觉多任务压缩——目标检… · 语义分割与深度估计的联合蒸馏
案例实战一目标=计算机视觉…
17
案例实战二
目标=自然语言处理多任务压缩——文本… · 序列标注与问答系统的蒸馏部署
案例实战二目标=自然语言处…
18
案例实战三
目标=语音与多模态多任务压缩——语音… · 情感识别与跨模态蒸馏
案例实战三目标=语音
19
案例实战四
目标=边缘设备部署——移动端 · 嵌入式与浏览器端的多任务压缩工程实践
案例实战四目标=边缘设备部…
20
常见问题与调试
目标=蒸馏不收敛 · 学生容量不足 · 任务冲突
常见问题调试
21
多任务压缩中的任务平衡
目标=不确定性加权 · 梯度归一化 · 动态任务优先级与帕累托优化
多任务压缩任务平衡
22
知识蒸馏进阶
目标=对抗蒸馏 · 对比蒸馏 · 图蒸馏
知识蒸馏进阶目标=对抗蒸馏
23
多任务模型压缩进阶
目标=稀疏化训练 · 彩票假设 · 动态子网络与条件计算前沿
多任务模型压缩进…目标=稀疏化训练
24
工程化与工具链
目标=PyTorch · TensorFlow · ONNX
工程化工具链
25
部署与优化
目标=模型转换 · 推理引擎优化 · 内存复用
部署优化
26
可解释性与安全性
目标=蒸馏模型的可解释性 · 鲁棒性 · 隐私保护与对抗攻击防御
可解释性安全性
27
综合项目一
目标=设计并实现一个多任务知识蒸馏压… · 完成训练 · 评估与部署全流程
综合项目一目标=设计并实现…
28
综合项目二
目标=针对给定硬件约束 · 优化多任务模型压缩方案并撰写技术报告
综合项目二目标=针对给定硬…
29
前沿进展与论文导读
目标=最新知识蒸馏 · 多任务学习与模型压缩的顶会论文与开源…
前沿进展论文导读
30
课程总结与职业发展
目标=知识体系回顾 · 工程最佳实践 · 学习路线与岗位能力要求
课程总结职业发展