VIP20
本课程属于：027-Edge AI模型压缩：剪枝、蒸馏与稀疏化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

9. Edge AI稀疏化训练：L1正则和结构稀疏策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
稀疏化基础
什么是模型稀疏性 · 为什么需要稀疏化 · Edge AI中的挑战与机遇
稀疏化基础什么是模型稀疏性
03
L1正则化原理
L1与L2的区别 · 稀疏解的几何解释 · 数学公式与梯度更新
L1正则化原理
04
L1正则化实现
在PyTorch/TensorFlo… · 权重衰减与L1的差异 · 代码示例
L1正则化实现
05
L1正则的局限
非结构化稀疏 · 硬件不友好 · 训练不稳定问题
L1正则的局限
06
结构稀疏概念
结构化稀疏 vs 非结构化稀疏 · 粒度（filter/channel/…
结构稀疏概念vs
07
结构稀疏策略
Filter pruning · Channel pruning · Group sparse
结构稀疏策略Filter
08
Group Lasso
Group Lasso原理 · 如何实现组稀疏 · 在CNN中的应用
GroupLasso
09
Sparse Variational Dropout
贝叶斯视角下的稀疏化 · SVD方法 · 训练流程
SparseVariational
10
稀疏训练流程
从预训练到稀疏训练 · 稀疏-再训练（sparse retr…
稀疏训练流程从预训练到稀疏训…
11
动态稀疏训练
Dynamic sparse tra… · 稀疏度控制 · 拓扑演化
动态稀疏训练Dynamic
12
稀疏度调度
如何设置稀疏度曲线 · 渐进式剪枝 · one-shot vs iterat…
稀疏度调度如何设置稀疏度曲…
13
硬件感知稀疏
不同硬件（CPU/GPU/NPU）对… · 加速原理
硬件感知稀疏CPU/GPU/NPU
14
稀疏化与量化结合
联合优化策略 · 混合精度稀疏训练 · 实际收益
稀疏化量化结合
15
案例实战
基于ResNet的L1正则稀疏训练（…
案例实战ResNet
16
案例实战
基于MobileNet的结构稀疏训练…
案例实战MobileNet
17
案例实战
NLP模型（BERT）的稀疏化训练与…
案例实战NLP
18
工具与框架
PyTorch Pruning · TensorFlow Model O… · OpenVINO NNCF
工具框架
19
评估指标
稀疏度 · FLOPs减少 · 模型大小
评估指标稀疏度
20
常见问题
稀疏训练不收敛 · 精度骤降 · 梯度爆炸
常见问题稀疏训练不收敛
21
稀疏训练技巧
学习率调整 · 权重初始化 · 正则系数选择
稀疏训练技巧学习率调整
22
稀疏模型部署
ONNX导出 · 推理引擎支持 · 实际部署流程
稀疏模型部署ONNX
23
前沿进展
SparseGPT · LoRA+稀疏 · 稀疏训练最新解读
前沿进展SparseGPT
24
综合项目
从零构建一个稀疏训练pipeline…
综合项目pipeline
25
综合项目
对比L1正则与结构稀疏在Edge设备…
综合项目L1
26
综合项目
设计一个自适应稀疏度算法并验证效果
综合项目设计一个自适应稀…
27
课程总结
核心要点回顾 · 常见误区 · 学习路径建议
课程总结核心要点回顾
28
考试与作业
理论题 · 编程题 · 项目报告要求
考试作业
29
扩展资源
推荐书籍 · · 开源代码
扩展资源推荐书籍
30
结课答疑
常见疑问解答 · 后续学习方向 · 证书获取方式
结课答疑常见疑问解答