一、课程导论与全景图：知识蒸馏与推理加速的行业背景、核心概念、全流程概览与课程目标
1.1 为什么我们需要这门课？
先聊点实在的。这几年大模型火得一塌糊涂，GPT、LLaMA、ChatGLM 轮番上阵。但你去试试把 70B 的模型直接塞进手机或者边缘设备——根本跑不动。我见过太多团队，模型在 A100 上跑得飞起，一到端侧就卡成幻灯片。
说白了，工业界现在面临一个很现实的矛盾：模型越来越大，但部署环境越来越小。你想想看，自动驾驶需要毫秒级响应，智能音箱只有几百兆内存，可我们却拿着几百 GB 的模型往里塞。这不现实。
那怎么办？两个方向：把模型变小（知识蒸馏），让推理变快（推理加速）。这两件事不是割裂的，而是需要全流程配合。我这些年踩过的坑告诉我，单点优化往往效果有限，只有从训练到部署打通了，才能真正落地。
核心认知：知识蒸馏解决的是模型容量问题，推理加速解决的是计算效率问题。两者结合，才能让大模型在真实场景中跑起来。
1.2 行业背景：大模型时代的算力困局
先看几组数据，你就明白为什么这门课这么重要了。
| 模型规模 | 参数量 | 单次推理所需显存（FP16） | 典型部署场景 |
|---|---|---|---|
| 小模型 | 100M - 500M | 0.2GB - 1GB | 手机、IoT、边缘设备 |
| 中等模型 | 1B - 7B | 2GB - 14GB | 消费级 GPU、云端轻量服务 |
| 大模型 | 13B - 70B | 26GB - 140GB | 数据中心、高端服务器 |
| 超大模型 | 100B+ | 200GB+ | 多卡分布式、专用集群 |
看到没？一个 7B 的模型，FP16 精度下就要 14GB 显存。你手机才多少内存？8GB 顶天了。而且这还是纯模型参数，还没算中间激活值和 KV Cache。
我去年帮一家智能家居公司做项目，他们想把对话模型塞进智能音箱。原始模型 13B，音箱只有 2GB 可用内存。蒸馏到 500M 之后，内存占用降到 1GB 以内，推理延迟从 3 秒降到 200 毫秒。这才是真正能用的东西。
1.3 核心概念：知识蒸馏到底是什么？
知识蒸馏，说白了就是让一个小模型（学生）去模仿一个大模型（老师）的行为。不是简单学答案，而是学老师思考的过程。
举个例子。你让老师模型做一道数学题，它可能输出：答案 42，但内部计算过程是 6×7=42。如果只学答案，学生模型只知道 42，但不知道为什么。蒸馏要做的，是让学生也学会 6×7 这个推理路径。
具体到技术上，老师模型输出的软标签（soft labels）比硬标签（hard labels）包含更多信息。比如分类任务，老师输出 [0.1, 0.7, 0.2]，硬标签是 [0, 1, 0]。软标签告诉学生：类别 2 和类别 1 有点相似，类别 3 完全不像。这种信息在硬标签里是看不到的。
我的经验：蒸馏时温度参数 T 很关键。T 越大，软标签越平滑，信息越丰富。但 T 太大也会引入噪声。我一般从 T=4 开始调，效果不好再降。没有固定值，得试。
1.4 推理加速：不只是剪枝和量化
很多人一提到推理加速，就想到剪枝和量化。没错，这两招确实管用。但完整的推理加速远不止这些。
我把它分成四个层次：
- 模型结构优化：比如用更高效的算子替换，或者重新设计网络结构。
- 计算图优化：算子融合、常量折叠、内存复用。这些是编译器层面的活。
- 量化与低精度推理：FP16、INT8、甚至 INT4。精度和速度的博弈。
- 硬件适配：针对特定芯片（GPU、NPU、TPU）做算子调优。
你想想看，如果只做量化不做算子融合，效果可能只有 1.5 倍加速。但把四个层次都做了，5-10 倍加速很常见。
避坑指南：我曾经在一个项目里只做 INT8 量化，结果模型精度掉了 5 个点。后来发现是某个敏感层对量化特别脆弱。从那以后，我养成了逐层分析量化误差的习惯，敏感层保留 FP16，其他层用 INT8。混合精度量化才是工程正道。
1.5 全流程概览：从训练到部署的完整链路
这门课不是讲零散的知识点，而是给你一条完整的落地链路。我把它画成了一张图，你一看就明白。
这张图就是整门课的骨架。三个阶段环环相扣，每个阶段都有对应的技术和工具。我们后面 29 章，就是把这每个环节拆开揉碎了讲。
1.6 课程目标：学完你能带走什么？
我不喜欢画大饼。这门课的目标很具体：
- 掌握知识蒸馏的核心算法：从 Logit 蒸馏到 Feature 蒸馏，从离线蒸馏到在线蒸馏。每种方法适合什么场景，我会用真实案例告诉你。
- 能独立完成模型压缩：剪枝、量化、低秩分解。不是纸上谈兵，是能跑通代码、能部署到设备的那种。
- 精通推理加速技术：ONNX Runtime、TensorRT、OpenVINO 这些主流引擎，我会带你逐个实战。
- 具备全流程工程能力：从训练脚本到部署流水线，从精度评估到性能监控。你学完就能上手干活。
一句话总结：这门课不讲理论推导，只讲工程落地。你带着问题来，带着方案走。
1.7 适合谁学？
我建议这几类同学重点关注：
| 角色 | 痛点 | 课程价值 |
|---|---|---|
| 算法工程师 | 模型太大，部署不了 | 掌握蒸馏和压缩技术，让模型真正落地 |
| 推理优化工程师 | 加速手段单一，效果有限 | 学习全流程优化，突破性能瓶颈 |
| 系统架构师 | 需要设计端侧 AI 方案 | 获得完整的工程链路和最佳实践 |
| 技术管理者 | 团队缺乏落地经验 | 了解技术全貌，指导团队方向 |
1.8 课程结构速览
30 章内容，我分成了 5 个模块：
- 基础篇（第 1-5 章）：概念、环境搭建、快速上手。让你先跑通一个完整的蒸馏+加速流程。
- 蒸馏篇（第 6-12 章）：各种蒸馏方法详解，从简单到复杂。每个方法都有配套代码。
- 压缩篇（第 13-19 章）：剪枝、量化、低秩分解。重点讲工程实现和精度控制。
- 加速篇（第 20-26 章）：推理引擎、算子优化、内存管理。性能调优的硬核内容。
- 实战篇（第 27-30 章）：四个完整案例，覆盖 CV、NLP、多模态、端侧部署。
每个模块之间都有衔接。你不用担心前面没学好后面跟不上——我会在关键节点安排复习和总结。
学习建议：别跳着看。我见过有人直接跳到实战篇，结果连蒸馏的损失函数都写不对。基础打牢了，后面才快。我自己学新东西也是这个习惯，慢就是快。
1.9 准备工作
开课前，你需要准备这些：
- 一台有 GPU 的机器（RTX 3060 以上就行，不要求 A100）
- Python 3.8+，PyTorch 2.0+
- 基本的深度学习知识（知道什么是损失函数、反向传播）
- 愿意动手的耐心（这点最重要）
环境搭建的具体步骤，我会在第二章手把手带你做。别担心，跟着走就行。
好了，第一章就到这里。你心里应该对这门课的全貌有个数了。接下来，我们直接动手，先把环境搭起来，然后跑通第一个蒸馏案例。