📚 课程目录第1章课程导学

课程导学：Edge AI与轻量化模型的时代背景、课程目标、学习路径与实战环境搭建

当大语言模型与多模态模型在云端数据中心以千亿参数规模刷新榜单时，另一场静默而深刻的变革正在发生：AI推理正从集中式云端向数十亿台边缘设备下沉。从智能安防摄像头、工业质检终端、车载域控制器到可穿戴健康监测设备，边缘侧对实时性、隐私性、功耗与成本的严苛约束，催生了“轻量化模型”这一核心工程命题。本课程将聚焦于模型结构压缩（剪枝、量化、低秩分解、知识蒸馏）与高效网络结构设计（MobileNet、ShuffleNet、EfficientNet-Lite等），帮助学员建立从理论到落地的完整能力闭环。本章作为导学，将厘清时代背景、明确课程目标、规划学习路径，并完成实战环境的搭建。

1.1 Edge AI的时代背景：为什么轻量化成为必答题

过去十年，深度学习模型的精度提升主要依赖“更大、更深、更宽”的暴力美学。然而，当AI从云端走向物理世界，模型部署的约束条件发生了根本性变化。以智能摄像头为例，一个1080P视频流若全部上传云端推理，需要约4-8Mbps的上行带宽，且网络往返延迟通常在50-200ms之间，这无法满足工业安全帽检测（要求<100ms）或自动驾驶紧急制动（要求<30ms）的实时性需求。更关键的是，隐私法规（如GDPR、中国《个人信息保护法》）对原始数据出境和云端存储提出了严格限制，端侧推理成为合规的必然选择。

与此同时，边缘硬件的算力密度正在快速提升。NVIDIA Jetson Orin Nano 提供 40 TOPS INT8 算力，功耗仅 7-15W；树莓派 5 的 Broadcom BCM2712 集成了 2.6 TOPS NPU；手机端的骁龙 8 Gen 3 的 Hexagon NPU 更是达到 73 TOPS。但即便算力翻倍，模型体积和计算量仍然是决定性瓶颈——一个 ResNet-50 在 Jetson Orin Nano 上 INT8 推理约需 8ms，但若部署在树莓派 5 的 CPU 上则需要 120ms 以上。因此，轻量化不是“锦上添花”，而是边缘部署的“准入门槛”。

  核心矛盾：边缘设备同时受限于功耗（电池/散热）、内存（通常 4-16GB）、存储（eMMC/NVMe）和实时性要求。模型压缩的目标就是在精度损失可控（通常<2%）的前提下，将模型体积压缩 3-10 倍，推理速度提升 2-5 倍。

1.2 课程目标：从“会用”到“会设计”

本课程不满足于让学员学会调用现成的压缩工具库，而是建立一套完整的“分析-决策-实施-验证”方法论。具体目标分为四个层级：

能力层级	具体目标	对应章节
原理认知	理解剪枝、量化、蒸馏、低秩分解的数学原理与适用边界	第2-6章
工具实操	熟练使用 PyTorch、ONNX Runtime、TensorRT、OpenVINO 等工具链	第7-12章
结构设计	掌握 MobileNetV3、ShuffleNetV2、EfficientNet-Lite 的设计哲学，能针对特定硬件定制轻量结构	第13-18章
工程落地	完成从 PyTorch 训练 → 压缩 → 导出 → 端侧部署 → 性能调优的全链路实战	第19-30章

课程特别强调“硬件感知”的压缩策略。例如，在 Jetson 平台上，TensorRT 对结构化剪枝（如 channel pruning）支持良好，但对细粒度稀疏（fine-grained sparsity）支持有限；而在手机端，Qualcomm SNPE 对 4bit 量化有硬件加速，但 2bit 量化可能反而变慢。这些硬件差异将直接影响压缩方案的选择。

1.3 学习路径：六阶段递进式设计

课程内容按照“理论→方法→实践→优化”的逻辑组织为六个阶段，每个阶段都有明确的产出物：

基础夯实（第1-2章）：掌握 CNN/Transformer 的结构特点、FLOPs/参数量/内存占用计算，建立模型效率的量化指标。
核心压缩技术（第3-8章）：深入剪枝（结构化/非结构化）、量化（PTQ/QAT）、低秩分解、知识蒸馏（离线/在线/自蒸馏），每项技术配套代码实战。
轻量网络结构（第9-14章）：从 MobileNet 系列到最新的 GhostNet、RepVGG，分析设计空间（深度、宽度、分辨率、分组卷积、注意力机制）对效率的影响。
推理引擎与硬件适配（第15-20章）：ONNX Runtime、TensorRT、OpenVINO 的优化原理，NPU/DSP/GPU 的算子映射与内存布局。
综合实战项目（第21-26章）：以工业缺陷检测、人脸关键点、语音唤醒词三个场景为驱动，完成从数据到部署的完整闭环。
前沿与调优（第27-30章）：自动化压缩（NAS+压缩）、大模型端侧部署（LLM量化）、持续学习与模型更新策略。

学习建议：每章配套的代码仓库包含完整的可运行脚本，建议学员在本地 GPU（≥6GB 显存）或 Colab 上运行。对于没有边缘硬件的学员，课程提供基于 QEMU 的模拟器镜像，可模拟 ARM CPU 和 NPU 行为。

1.4 实战环境搭建：三步完成开发环境配置

为了确保后续章节的代码可以无缝运行，我们推荐以下环境配置方案。课程所有代码均在 Ubuntu 22.04 + Python 3.10 + PyTorch 2.1 下测试通过。

步骤一：基础 Python 环境

# 创建虚拟环境
python3 -m venv edgeai_env
source edgeai_env/bin/activate

# 安装核心依赖
pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu118
pip install onnx onnxruntime-gpu==1.16.3
pip install numpy==1.24.3 opencv-python==4.8.1.78
pip install matplotlib scikit-learn tqdm tensorboard

步骤二：安装模型压缩工具库

# 蒸馏与剪枝辅助库
pip install torch-pruning==0.2.7
pip install distiller==0.4.0  # Intel 的压缩工具包

# 量化工具（PyTorch 原生支持 PTQ/QAT）
pip install torch.ao.quantization  # 已包含在 PyTorch 2.1 中

步骤三：验证安装

python -c "import torch; print('PyTorch:', torch.__version__); print('CUDA:', torch.cuda.is_available())"
python -c "import onnxruntime; print('ONNX Runtime:', onnxruntime.__version__)"

对于有 NVIDIA Jetson 设备的学员，建议使用 JetPack 5.1.2 及以上版本，并安装对应版本的 PyTorch 预编译包（官方提供 aarch64 版本）。树莓派 5 用户可使用 pip install torch --index-url https://download.pytorch.org/whl/cpu 安装 CPU 版本，但后续 TensorRT 相关章节需要改用 ONNX Runtime 的 ARM 版本。

常见环境坑点：1) PyTorch 2.1 的 torch.ao.quantization 与旧版 torch.quantization API 不兼容，请统一使用新 API；2) ONNX Runtime GPU 版需要 CUDA 11.8 和 cuDNN 8.6，若版本不匹配会报 DLL load failed；3) Jetson 上安装 PyTorch 时不要使用 pip 默认源，务必从 NVIDIA 官方论坛下载 wheel 包。

1.5 案例拆解：从 ResNet-50 到 MobileNetV3 的部署对比

为了直观展示轻量化带来的收益，我们以一个实际的图像分类任务（ImageNet-1K 子集，100 类）为例，在 Jetson Orin Nano 上进行部署对比。这个案例将贯穿课程始终，后续章节会逐步优化其中的每个环节。

初始状态：使用 PyTorch 预训练的 ResNet-50，Top-1 精度 76.1%，模型体积 98MB（FP32），单张图片推理延迟 12.3ms（TensorRT FP16）。

优化目标：在精度损失 ≤1% 的前提下，将延迟降低到 5ms 以内，模型体积压缩到 20MB 以下。

初步方案（后续章节会逐步完善）：

优化手段	预期效果	风险
TensorRT FP16 推理	延迟降至 8.1ms	精度几乎无损
INT8 量化（PTQ）	延迟降至 4.2ms，体积降至 25MB	精度可能下降 1.5-2%
知识蒸馏（ResNet-50 → MobileNetV3-Large）	体积降至 21MB，延迟 3.8ms	需要重新训练，耗时约 2 天
结构化剪枝（30% 通道剪枝）	体积降至 15MB，延迟 3.2ms	需要微调恢复精度

关键发现：单独使用 INT8 量化虽然延迟达标，但精度损失超出预算；单独使用蒸馏，精度达标但体积仍偏大。最终方案是“蒸馏 + 剪枝 + INT8量化”的组合策略，这将在课程第 21-24 章中详细展开。这个案例揭示了轻量化工作的本质——它不是单一技术的应用，而是多种技术的协同优化。

1.6 常见误区与学习建议

在多年教学和工程实践中，我们发现学员在入门阶段容易陷入以下误区：

误区一：认为压缩就是“调参”。实际上，剪枝比例、量化位宽、蒸馏温度等超参数的选择，取决于模型结构、数据集分布和硬件特性，需要系统性的实验设计。
误区二：只关注 FLOPs 而忽略内存访问成本。在边缘设备上，内存带宽往往比计算更稀缺。ShuffleNetV2 的设计准则明确指出：FLOPs 相近的模型，内存访问成本（MAC）可能相差 2 倍以上。
误区三：忽视硬件算子支持。某些压缩后的模型（如非结构化稀疏）在 GPU 上有效，但在 NPU 上可能无法加速，甚至因为稀疏索引开销而变慢。
误区四：精度评估不充分。只在测试集上评估 Top-1 精度，忽略了校准集分布偏移、多线程抖动、温升导致的降频等实际部署因素。