VIP20

本课程属于：027-Edge AI模型压缩：剪枝、蒸馏与稀疏化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

17. Edge AI训练侧压缩工具链：PyTorch Pruning、Distillation与NNCF

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解Edge AI训练侧压缩的必要性 · 课程目标 · 整体学习路径与工具链概览

课程导入Edge

模型压缩基础

掌握模型剪枝 · 知识蒸馏 · 量化等核心概念

模型压缩基础掌握模型剪枝

PyTorch模型结构解析

学会使用torchsummary · torchinfo等工具查看模型参数 · FLOPs与层结构

PyTorch模型结构解析

剪枝原理与分类

理解结构化剪枝与非结构化剪枝 · 细粒度与粗粒度剪枝 · 掌握不同剪枝策略的优缺点

剪枝原理分类

PyTorch内置剪枝API

学习torch.nn.utils.p… · RandomUnstructured…

对ResNet或MobileNet进… · 使用torch.nn.utils.p…

剪枝实战ResNet

剪枝后微调

掌握剪枝后模型微调的必要性 · 学习率策略与训练技巧 · 恢复精度并避免灾难性遗忘

剪枝后微调掌握剪枝后模型微…

知识蒸馏基础

理解教师-学生网络架构 · 软标签与温度参数 · 掌握蒸馏损失函数的设计

知识蒸馏基础理解教师

蒸馏方法进阶

学习特征蒸馏 · 注意力蒸馏 · 关系蒸馏等变体

蒸馏方法进阶学习特征蒸馏

PyTorch蒸馏实现

使用PyTorch搭建蒸馏训练流程 · 实现教师模型推理 · 学生模型训练与损失加权

PyTorch蒸馏实现

以CIFAR-10或ImageNet… · 训练一个紧凑学生模型 · 对比蒸馏前后精度与模型大小

蒸馏实战CIFAR-10

蒸馏与剪枝结合

掌握先剪枝后蒸馏或同时进行的联合压缩… · 提升压缩后模型精度

蒸馏剪枝结合

NNCF工具链介绍

了解OpenVINO NNCF的定位 · 功能模块 · 支持的操作与压缩流水线

NNCF工具链介绍

NNCF安装与配置

学习NNCF的安装 · 环境依赖 · 配置文件格式（JSON）及与PyTo…

NNCF剪枝算法

掌握NNCF中的结构化剪枝（如Fil… · 理解其自动调度机制

NNCF剪枝算法

NNCF量化感知训练

学习QAT（量化感知训练）原理 · 使用NNCF对PyTorch模型进行…

NNCF量化感知训练

NNCF蒸馏集成

了解NNCF如何结合知识蒸馏与量化/… · 实现多目标联合优化

NNCF蒸馏集成

使用NNCF压缩一个YOLO或分类模… · 导出ONNX/IR · 并评估压缩效果

压缩工具链对比

对比PyTorch原生剪枝 · 自实现蒸馏与NNCF的适用场景 · 易用性

压缩工具链对比PyTorch

模型部署与推理优化

将压缩后的模型导出为ONNX或Ope… · 使用推理引擎测试延迟与吞吐量

模型部署推理优化

精度评估与调优

学习如何评估压缩模型的精度 · 混淆矩阵 · FLOPs与参数量

精度评估调优

常见问题与解决方案

处理剪枝后模型结构破坏 · 蒸馏不收敛 · 量化掉点等典型问题

常见问题解决方案

自动化压缩流水线

设计一个从原始模型到压缩部署的自动化… · 集成剪枝 · 蒸馏

自动化压缩流水线设计一个从原始模…

图像分类模型压缩 · 使用PyTorch剪枝+蒸馏+NNC… · 达到模型减半且精度损失<1%

案例实战图像分类模型压缩

目标检测模型压缩 · 使用NNCF进行剪枝与量化 · 在保持mAP的同时提升FPS

案例实战目标检测模型压缩

语义分割模型压缩 · 应用蒸馏与量化 · 减少内存占用并保持mIoU

案例实战语义分割模型压缩

边缘设备部署实践

将压缩模型部署到树莓派 · Jetson或Intel NUC · 实测功耗

边缘设备部署实践将压缩模型部署到…

端到端压缩工具链：从给定模型出发 · 完成剪枝 · 蒸馏

综合项目端到端压缩工具链

前沿与扩展

了解最新剪枝算法（如MetaPrun… · 蒸馏新范式（如自蒸馏） · 自动化压缩（如AutoML）趋势

课程总结与进阶路径

回顾核心知识点 · 提供学习资源 · 社区与工具链文档

课程总结进阶路径