VIP20
本课程属于：010-TinyML模型剪枝与稀疏化 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TinyML知识蒸馏结合剪枝的模型压缩教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
TinyML概述 · 模型压缩的必要性 · 知识蒸馏与剪枝的协同作用
课程导入TinyML
02
TinyML基础
微控制器与边缘设备资源约束 · 典型TinyML应用场景 · 模型部署流程与挑战
TinyML微控制器
03
模型压缩概览
量化 · 剪枝 · 蒸馏
模型压缩概览量化
04
神经网络剪枝基础
结构化与非结构化剪枝 · 权重剪枝与神经元剪枝 · 剪枝粒度与硬件友好性
神经网络剪枝基础结构化
05
剪枝方法详解
全局与局部剪枝 · 迭代剪枝与一次性剪枝 · L1/L2范数剪枝
剪枝方法详解全局
06
剪枝实战（PyTorch/TensorFlow）
使用torch.nn.utils.p… · 稀疏度设置与效果评估
PyTorch/Tens…剪枝实战
07
知识蒸馏基础
教师-学生网络架构 · 软标签与温度参数 · 蒸馏损失函数（KL散度
知识蒸馏基础教师
08
知识蒸馏方法进阶
注意力蒸馏 · 关系蒸馏 · 对比蒸馏
知识蒸馏方法进阶注意力蒸馏
09
知识蒸馏实战
在TinyML数据集（如CIFAR-… · ImageNet子集）上训练教师模型 · 设计学生模型
知识蒸馏实战TinyML
10
剪枝与蒸馏结合策略
先剪后蒸 · 先蒸后剪 · 联合训练
剪枝蒸馏结合策略
11
结合实战（一）
对预训练模型进行剪枝 · 然后使用蒸馏恢复精度 · 完整代码实现与结果对比
结合实战对预训练模型进行…
12
结合实战（二）
先蒸馏出紧凑学生模型 · 再对学生模型进行剪枝 · 评估最终模型大小与精度
结合实战先蒸馏出紧凑学生…
13
结合实战（三）
联合训练框架 · 在训练过程中同时施加剪枝和蒸馏约束 · 实现端到端压缩
结合实战联合训练框架
14
TinyML部署工具链
TensorFlow Lite Mi… · CMSIS-NN · Arduino
TinyML部署工具链
15
模型量化与剪枝蒸馏的协同
量化感知训练 · 后训练量化与剪枝蒸馏结合 · 混合精度量化
模型量化剪枝蒸馏的协同
16
硬件适配与优化
不同微控制器架构（ARM Corte… · RISC-V）对剪枝和蒸馏模型的支持 · 内存与计算优化
硬件适配优化
17
模型评估与验证
压缩后模型在真实TinyML设备上的… · 功耗与延迟测量 · 精度验证方法
模型评估验证
18
案例研究（图像分类）
在MobileNetV2或ResNe… · 部署到Arduino或树莓派Pico
案例研究图像分类
19
案例研究（语音唤醒）
在TinyML语音识别模型（如DS-… · 实现关键词检测
案例研究语音唤醒
20
案例研究（异常检测）
在传感器数据异常检测模型上应用压缩技… · 部署到边缘设备
案例研究异常检测
21
常见问题与调试
剪枝后精度骤降 · 蒸馏不收敛 · 训练不稳定
常见问题调试
22
工具与库详解
PyTorch · TensorFlow · Distiller
工具库详解
23
自动化压缩框架
AutoML for Compres… · 神经网络架构搜索（NAS）与剪枝蒸馏… · 自动化流水线设计
自动化压缩框架AutoML
24
模型安全与鲁棒性
压缩对模型鲁棒性的影响 · 对抗攻击下的表现 · 蒸馏与剪枝的隐私保护
模型安全鲁棒性
25
性能优化技巧
稀疏矩阵运算 · 内存复用 · 算子融合
性能优化技巧稀疏矩阵运算
26
项目实战（完整流程）
从数据集准备 · 模型设计 · 剪枝蒸馏训练
项目实战完整流程
27
前沿进展与趋势
动态剪枝 · 可逆蒸馏 · 无数据蒸馏
前沿进展趋势
28
综合练习与挑战
给定一个TinyML任务 · 设计并实现剪枝+蒸馏压缩方案 · 达到指定压缩率和精度要求
综合练习挑战
29
课程总结与复习
核心知识点回顾 · 常见误区 · 最佳实践
课程总结复习
30
结业项目与评估
独立完成一个TinyML模型压缩项目 · 提交报告与代码 · 进行互评与反馈
结业项目评估