VIP20
本课程属于：010-TinyML模型剪枝与稀疏化 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TinyML稀疏化训练schedule设计与调参

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
TinyML与稀疏化训练的背景 · 目标 · 学习路径与课程安排
课程导入TinyML
02
稀疏化基础
稀疏化定义 · 类型（结构化/非结构化） · 稀疏度指标与模型压缩收益
稀疏化基础稀疏化定义
03
TinyML硬件约束
微控制器内存 · 算力 · 功耗限制对稀疏化训练的影响
TinyML硬件约束
04
稀疏化训练原理
权重剪枝 · 掩码机制 · 梯度更新与稀疏正则化方法
稀疏化训练原理权重剪枝
05
训练schedule核心概念
学习率调度 · 稀疏度调度 · 剪枝时机与迭代策略
schedule训练
06
稀疏度调度策略
逐步增加稀疏度 · 一次性剪枝 · 循环剪枝等schedule设计
稀疏度调度策略逐步增加稀疏度
07
学习率与稀疏度协同
学习率衰减与稀疏度增长的配合原则与常…
学习率稀疏度协同
08
剪枝时机选择
预训练后剪枝 · 训练中剪枝 · 从头稀疏训练（sparse trai…
剪枝时机选择预训练后剪枝
09
稀疏化训练框架
TensorFlow Lite Mi… · PyTorch · TinyML专用工具中的稀疏化支持
稀疏化训练框架TensorFlow
10
稀疏化训练流程
数据准备 · 模型初始化 · schedule配置
稀疏化训练流程数据准备
11
稀疏度调度参数
初始稀疏度 · 目标稀疏度 · 步长
稀疏度调度参数初始稀疏度
12
学习率调度参数
初始学习率 · 衰减策略（step · cosine
学习率调度参数初始学习率
13
正则化与稀疏化结合
L1/L2正则 · ADMM · proximal methods在稀…
正则化稀疏化结合
14
梯度处理与掩码更新
梯度裁剪 · 掩码冻结 · 梯度重计算对稀疏训练的影响
梯度处理掩码更新
15
稀疏化训练稳定性
梯度消失 · 稀疏度震荡 · 损失波动的原因与缓解方法
稀疏化训练稳定性梯度消失
16
超参数调优方法
网格搜索 · 随机搜索 · 贝叶斯优化在稀疏schedule调参…
超参数调优方法网格搜索
17
案例实战
基于MNIST/CIFAR-10的稀…
案例实战MNIST/CIFAR-…
18
案例实战
基于语音唤醒（KWS）模型的稀疏化训…
案例实战KWS
19
案例实战
基于视觉唤醒（Visual Wake…
案例实战Visual
20
案例实战
基于异常检测（Anomaly Det…
案例实战Anomaly
21
稀疏化训练评估
模型精度 · 稀疏度 · 模型大小
稀疏化训练评估模型精度
22
稀疏化与量化结合
稀疏化训练后量化 · 量化感知稀疏训练（QAT+spars…
稀疏化量化结合
23
稀疏化与知识蒸馏结合
教师-学生框架下的稀疏化训练sche…
稀疏化知识蒸馏结合
24
常见问题与调试
训练不收敛 · 稀疏度不达标 · 精度下降
常见问题调试
25
工具与库实践
使用TensorFlow Model… · PyTorch的torch.nn.u…
工具库实践
26
自动化调参
利用Optuna · Ray Tune等工具自动搜索稀疏化…
自动化调参Optuna
27
部署与硬件适配
稀疏模型在Cortex-M · ESP32等平台上的部署与性能调优
部署硬件适配
28
综合项目
设计一个完整的TinyML稀疏化训练… · 从需求分析到schedule设计 · 调参
综合项目TinyML
29
前沿进展
最新稀疏化训练研究（如GraNet · STR · RigL）及其schedule设计启…
前沿进展GraNet
30
课程总结与进阶路径
核心要点回顾 · 常见误区 · 学习资源与后续研究方向
课程总结进阶路径