VIP20

本课程属于：027-Edge AI模型压缩：剪枝、蒸馏与稀疏化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

8. Edge AI蒸馏数据选择：软标签、温度参数与样本覆盖

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Edge AI与知识蒸馏的背景 · 课程目标 · 学习路径与整体框架

课程导入Edge

知识蒸馏基础

教师-学生网络架构 · 软标签与硬标签的区别 · 蒸馏损失函数的基本形式

知识蒸馏基础教师

Edge AI中的蒸馏挑战

资源受限 · 数据隐私 · 模型压缩需求与蒸馏数据选择的特殊性

软标签深入

软标签的信息熵 · 类别概率分布 · 如何反映教师模型的置信度与不确定性

软标签深入软标签的信息熵

温度参数原理

温度T对软标签平滑度的影响 · 高温与低温的直观效果 · 温度与类别间相似度的关系

温度参数原理温度T对软标签平…

温度参数调优

不同任务（分类 · 检测 · 分割）下温度的选择策略

温度参数调优不同任务

蒸馏数据选择动机

为什么不是所有数据都适合蒸馏 · 数据冗余与信息量评估 · 选择对蒸馏效果的影响

蒸馏数据选择动机为什么不是所有数…

样本覆盖概念

覆盖度定义 · 样本多样性 · 代表性样本与边缘样本的区分

样本覆盖概念覆盖度定义

数据选择方法概览

随机采样 · 基于不确定性采样 · 基于多样性采样

数据选择方法概览随机采样

基于软标签的样本选择

利用教师软标签的熵 · 置信度 · 类别间距离等指标筛选高价值样本

基于软标签的样本…利用教师软标签的…

基于温度参数的样本选择

动态调整温度评估样本难度 · 温度与样本选择结合的策略

基于温度参数的样…动态调整温度评估…

样本覆盖评估指标

类别覆盖 · 特征空间覆盖 · 困难样本覆盖

样本覆盖评估指标类别覆盖

数据选择与蒸馏性能的关系

样本数量 · 质量与蒸馏精度 · 泛化能力的权衡实验分析

数据选择蒸馏性能的关系

经典方法案例

Hinton蒸馏中的温度与软标签 · FitNets · Attention Transfer…

经典方法案例Hinton

现代方法案例

Deep Mutual Learni… · Online Distillatio… · 对比学习中的样本挖掘

现代方法案例Deep

Edge AI场景实战

在图像分类任务中 · 使用CIFAR-10/ImageNe…

构建教师模型并生成软标签 · 实现不同温度下的蒸馏 · 对比学生模型精度

实战任务构建教师模型并生…

实现基于熵和置信度的样本选择算法 · 评估不同选择比例下的蒸馏效果

实战任务实现基于熵

设计样本覆盖评估脚本 · 可视化类别覆盖与特征空间分布 · 分析覆盖不足的影响

实战任务设计样本覆盖评估…

温度过高或过低导致蒸馏失效的原因与调…

常见问题温度过高或过低导…

软标签噪声过大或过平滑时如何调整数据…

常见问题软标签噪声过大或…

样本覆盖不均衡导致学生模型偏见 · 如何通过重采样或加权解决

常见问题样本覆盖不均衡导…

数据选择计算开销大 · 在Edge设备上如何高效实现近似选择

常见问题数据选择计算开销…

工具与框架

PyTorch · TensorFlow · ONNX

主动学习与蒸馏数据选择的结合 · 无标签数据利用 · 半监督蒸馏

进阶主题主动学习

动态蒸馏中的数据选择 · 课程学习（Curriculum Le…

进阶主题动态蒸馏

在边缘设备（如树莓派 · 手机NPU）上部署蒸馏后的模型 · 端到端流程演示

综合案例边缘设备

从零构建一个完整的Edge AI蒸馏… · 包括数据选择 · 温度调优

综合项目Edge

性能优化与评估

蒸馏后模型的精度 · 速度 · 内存占用

性能优化评估

课程总结与展望

回顾核心知识点 · 常见陷阱 · 未来趋势（如联邦蒸馏

课程总结回顾核心知识点