📚 课程目录第1章课程导论与全景图

1. 课程导论与全景图：特征迁移与模型压缩的核心价值、应用场景与全流程概览

大家好，欢迎来到这门实战课。我是你们这门课的主讲。

说实话，在AI领域摸爬滚打这么多年，我见过太多“实验室跑得飞起，一上线就卡死”的模型了。你辛辛苦苦调参、堆数据，搞出一个精度还不错的模型，结果发现——手机装不下，服务器扛不住，推理延迟高得离谱。

为什么会这样？说白了，我们平时训练模型，用的是GPU集群，内存管够，带宽自由。但真正的战场，是在用户的手机里、在边缘设备上、在云端有限的算力资源中。这时候，模型太大、太慢，就成了致命伤。

这门课要解决的，就是这个核心矛盾：如何让大模型变小、变快，同时还能保持好用的精度？

先别急着看公式。我习惯用一句话来概括这两个概念：

模型压缩：给模型“减肥”。把臃肿的网络剪掉冗余参数、量化成低精度、或者用更紧凑的结构替换掉大模块。目标是让模型更轻、更快。
特征迁移：让模型“偷师”。把一个复杂大模型（教师网络）学到的知识，通过特征层面的约束，教给一个小模型（学生网络）。学生模型虽然结构简单，但能学到老师那种“看问题”的深层能力。

你可能会问：“那我直接用小模型从头训练不就行了？” 嗯，我刚开始也这么想。但后来在项目中我发现，小模型因为容量有限，很难自己学到那些复杂的、高层次的语义特征。而特征迁移，就是给这个小模型开了一扇“天眼”，让它站在巨人的肩膀上学习。

核心观点： 模型压缩解决的是“物理体积”问题，特征迁移解决的是“知识容量”问题。两者结合，才能实现真正的“小而强”。

我直接说痛点吧。你在实际工作中，大概率会遇到下面这些场景：

痛点场景	传统做法的问题	本课程的价值
端侧部署（手机、IoT）	模型太大，APP包体超标；推理太慢，用户卡顿流失	教你如何把模型压缩到几MB甚至几百KB，同时保持实时推理
云端推理（高并发、低延迟）	GPU显存不够，QPS上不去，成本飙升	通过量化、剪枝、蒸馏，让单卡吞吐量翻倍，成本降低50%以上
隐私计算与联邦学习	模型太大，传输带宽压力大；本地算力不足	压缩后的模型可以轻松在用户设备上完成本地推理，保护隐私
模型迭代与迁移	新任务数据少，从头训练效果差	利用特征迁移，从预训练大模型中快速提取通用特征，小样本也能出好效果

我记得有一次，我们团队给一个智能门锁做人脸识别模型。模型在服务器上跑，精度98%。但一移植到那个只有几百KB内存的MCU上，直接内存溢出。后来我们用了混合精度量化和知识蒸馏，把模型从50MB压缩到1.2MB，精度只掉了0.3%。门锁解锁速度从2秒降到了0.3秒。这就是这门课要教你的实战能力。

我们来看一张图，这张图是我自己总结的，能帮你快速建立全局视野。

从这张图里你能看到，端侧和云端的优化侧重点完全不同。端侧更看重“压缩率”和“功耗”，而云端更看重“吞吐量”和“延迟”。

我的经验： 别试图用一种方法解决所有问题。在端侧，我通常优先做量化（INT8）和剪枝；在云端，我更喜欢用知识蒸馏配合算子融合。因地制宜，才是工程化的精髓。

这门课不是只讲理论，我们会带着你走完一整套实战流程。我把它拆解成下面几个关键阶段：

基线模型训练与分析：先跑通一个标准的训练流程，拿到一个“胖”模型。然后分析它的参数分布、冗余度、计算热点。这是所有优化的起点。
模型剪枝：去掉不重要的连接或通道。我会教你结构化剪枝和非结构化剪枝的区别，以及如何在剪枝后微调恢复精度。
模型量化：把FP32的权重和激活值，变成INT8甚至INT4。这里有个坑——量化后的模型精度可能会掉，我会教你如何用校准数据集和量化感知训练来弥补。
知识蒸馏：训练一个教师模型（大而准），然后让学生模型（小而快）去模仿教师的输出分布和中间层特征。这一步做得好，小模型能有大模型的“灵魂”。
特征迁移与对齐：这是进阶内容。不仅仅是输出层的蒸馏，我们还会深入到特征图、注意力图层面的迁移，让模型学到更丰富的表征。
模型转换与部署：把优化后的模型转换成ONNX、TensorRT、NCNN等格式，部署到目标硬件上。这一步会遇到各种算子兼容性问题，我会分享我的“踩坑”记录。
端到端调试与性能调优：最后，我们会用Profiling工具分析推理瓶颈，反复迭代优化，直到达到你的业务指标。

注意： 我曾经在一个项目中，花了大量时间做剪枝，结果发现剪枝后的模型在部署时因为硬件不支持稀疏计算，速度反而变慢了。所以，一定要在优化前就明确你的目标硬件支持哪些加速特性。这是很多新手容易忽略的。

为了让你对接下来30章的内容有个整体印象，我整理了一个表格。你可以把它当作一张地图，随时回来对照。

模块	章节范围	核心内容	实战产出
基础与工具	第1-5章	环境搭建、PyTorch基础、模型分析工具（torchinfo、flops-counter）	能跑通基线模型并分析其计算图
模型压缩	第6-15章	剪枝（结构化/非结构化）、量化（PTQ/QAT）、低秩分解、权重共享	将模型体积压缩50%-80%，并完成精度验证
特征迁移	第16-24章	知识蒸馏（Logits/Feature/Attention）、对比学习蒸馏、多教师蒸馏	训练出精度接近大模型的小模型
部署与调试	第25-30章	ONNX导出、TensorRT优化、NCNN端侧部署、性能Profiling	完成一个端到端的部署Demo，并输出性能报告

嗯，看到这个表格，你应该能感受到，这门课是环环相扣的。从分析到压缩，从迁移到部署，每一步都有对应的代码和案例。

在正式开始之前，我建议你准备好以下东西：