课程导入：嵌入式AI概述、模型压缩与部署的意义、课程目标与学习路径

嵌入式人工智能（Embedded AI）是指将机器学习推理能力部署到资源受限的边缘设备上，使设备能够在本地完成数据采集、特征提取、推理决策等任务，而无需依赖云端算力。随着物联网设备爆发式增长、端侧算力持续提升以及隐私保护法规日趋严格，嵌入式AI已成为智能硬件产品的核心竞争力。然而，一个在服务器上训练好的深度学习模型，往往包含数千万甚至上亿参数，直接部署到嵌入式设备会面临存储空间不足、内存带宽受限、推理延迟超标、功耗过高四大核心瓶颈。模型压缩与部署技术正是为解决这些矛盾而生，它通过剪枝、量化、知识蒸馏等手段，在尽量保持模型精度的前提下，显著减小模型体积、降低计算复杂度，使AI模型能够在MCU、边缘SoC、FPGA等嵌入式平台上高效运行。

嵌入式AI的产业背景与技术边界

嵌入式AI并非简单地将模型"塞进"设备，而是需要重新审视整个AI系统的设计范式。传统云端AI架构中，终端设备仅负责数据采集与展示，推理计算集中在数据中心。这种架构在实时性、隐私性、网络稳定性方面存在天然缺陷。以工业视觉检测为例，一条产线每秒产生数十帧高清图像，若全部上传云端推理，网络延迟和带宽成本将不可接受；而采用嵌入式AI方案，检测算法在产线边缘完成推理，仅将异常结果上传，延迟可从数百毫秒降至毫秒级。

从硬件维度看，嵌入式AI平台呈现明显的金字塔结构。金字塔底部是超低功耗MCU（如STM32F4系列、Cortex-M7内核），主频通常在200MHz以下，RAM仅数百KB，适合运行经过极端压缩的轻量级模型（如MobileNetV1的1/8通道版本）。金字塔中部是边缘SoC（如瑞芯微RK3588、晶晨A311D），集成NPU算力可达6TOPS，支持INT8/INT16混合精度推理，可运行YOLOv5s、ResNet50等主流模型。金字塔顶部是嵌入式GPU/FPGA平台（如Jetson Orin、Xilinx Zynq UltraScale+），算力更强但功耗和成本也更高。

平台类型	典型芯片	算力范围	内存容量	典型应用
超低功耗MCU	STM32F4 / RP2040	<1 GOPS	192KB-1MB	关键词唤醒、异常检测
边缘SoC	RK3588 / A311D	3-6 TOPS	2-8GB	智能安防、ADAS辅助
嵌入式GPU/FPGA	Jetson Orin / ZU9EG	10-275 TOPS	8-64GB	自动驾驶、医疗影像

理解平台能力边界是模型压缩的前提。一个在Jetson上运行良好的INT8量化模型，移植到MCU平台可能需要进一步做4bit量化、权重聚类和算子替换。因此，课程将首先帮助学员建立"以硬件约束为导向"的模型设计思维，明确不同平台的算力、内存、带宽、功耗红线，再针对性地选择压缩策略。

模型压缩的核心原理与必要性

深度学习模型的参数冗余已被大量研究证实。以ResNet-50为例，其参数量约2560万，但通过结构化剪枝可移除30%-50%的冗余通道，精度损失控制在1%以内。这种冗余来源于三个方面：一是卷积核之间的相关性，相邻滤波器提取的特征高度相似；二是权重分布呈现长尾效应，大量接近零的权重对最终输出贡献微弱；三是网络过参数化设计，为适应不同数据集而保留了过多容量。

量化技术的原理更为直观：将FP32浮点权重映射到低比特整数空间。以INT8量化为例，每个权重从32bit压缩至8bit，模型体积直接缩小4倍，同时利用整数运算单元可提升2-4倍推理速度。但量化并非无损操作，动态范围压缩会引入舍入误差，尤其对激活值分布不均匀的网络（如检测头、分割头）影响显著。因此，现代量化方案普遍采用"量化感知训练"（QAT），在训练过程中模拟量化噪声，使网络自适应调整权重分布。

知识蒸馏则从另一个维度压缩模型：训练一个参数量少数倍的"学生网络"，通过模仿"教师网络"的软标签（Soft Label）和中间层特征，获得接近大模型的表达能力。这种方法特别适合Transformer架构的压缩，例如将ViT-Base（8600万参数）蒸馏为ViT-Tiny（500万参数），在ImageNet上仍可保持78%以上的Top-1精度。

部署工具链与工程化流程

模型压缩只是第一步，真正的挑战在于将压缩后的模型高效部署到目标硬件。当前主流部署工具链各有侧重：TensorRT针对NVIDIA GPU深度优化，支持层融合、内核自动调优和动态形状推理；OpenVINO面向Intel CPU/GPU/VPU，对x86架构优化出色；TFLite Micro专为MCU设计，运行时仅需16KB RAM；NCNN则对ARM架构移动端优化良好，被广泛应用于Android端AI应用。

一个完整的嵌入式AI部署流程包含六个关键阶段：模型训练与验证（确保基线精度）、模型压缩（剪枝/量化/蒸馏）、模型转换（导出为ONNX/TFLite等中间格式）、硬件适配（算子映射与替换）、性能调优（延迟/吞吐/功耗测试）、集成验证（端到端功能测试）。每个阶段都有其特有的坑点：模型转换时算子不支持、硬件适配时内存对齐问题、性能调优时缓存命中率低等。

# 典型部署流程示例（以RK3588 NPU为例）
# 1. PyTorch训练并导出ONNX
python export.py --weights best.pt --include onnx --opset 12

# 2. ONNX简化与算子检查
python -m onnxsim best.onnx best_sim.onnx

# 3. RKNN-Toolkit2转换（支持INT8量化）
from rknn.api import RKNN
rknn = RKNN()
rknn.config(mean_values=[[0,0,0]], std_values=[[255,255,255]], target_platform='rk3588')
rknn.load_onnx(model='best_sim.onnx')
rknn.build(do_quantization=True, dataset='dataset.txt')
rknn.export_rknn('best_int8.rknn')

案例拆解：智能摄像头目标检测的压缩部署实战

为帮助学员建立全局认知，我们以一个典型的智能摄像头目标检测项目为例，展示模型压缩与部署的完整闭环。项目背景：某安防厂商需要在RK3588平台上部署YOLOv5s行人检测模型，要求帧率≥30FPS，精度mAP@0.5≥0.85，内存占用≤1.5GB，整机功耗≤8W。

初始状态：原始YOLOv5s模型参数量7.2M，FP32权重体积28.8MB，在RK3588 CPU上推理延迟为180ms/帧，远不达标。NPU虽可加速，但FP32模型无法直接运行，必须转换为INT8格式。

分析过程：首先对模型进行通道剪枝，使用BN层γ系数作为通道重要性指标，设定全局剪枝率40%。剪枝后模型参数量降至4.3M，mAP下降0.8个百分点（从0.892降至0.884），仍在可接受范围。随后进行INT8量化感知训练，使用COCO验证集500张图片作为校准数据集，采用KL散度校准算法确定每层动态范围。量化后模型体积降至4.3MB，但mAP进一步下降至0.861，低于0.85的阈值。

优化措施：针对精度损失，我们采取三项措施：一是对检测头（Detect Head）的卷积层采用per-channel量化，保留更多细节信息；二是对第一个卷积层和最后一个全连接层保持FP16精度，避免输入输出层的量化敏感；三是使用"量化感知训练"微调10个epoch，让网络适应量化噪声。最终mAP回升至0.873，满足要求。

部署结果：转换后的RKNN模型在NPU上推理延迟为12ms/帧（约83FPS），内存占用420MB，整机功耗5.2W。相比原始FP32模型，推理速度提升15倍，模型体积缩小6.7倍，功耗降低35%。

指标	原始FP32	剪枝后	INT8量化	混合精度优化
模型体积	28.8MB	17.2MB	4.3MB	4.5MB
推理延迟	180ms	120ms	15ms	12ms
mAP@0.5	0.892	0.884	0.861	0.873
内存占用	1.8GB	1.2GB	0.45GB	0.42GB

复盘经验：该案例揭示了三个关键教训：第一，剪枝和量化并非简单叠加，剪枝后的模型对量化更敏感，需要重新校准；第二，检测头对量化误差的容忍度远低于主干网络，必须特殊处理；第三，混合精度策略（敏感层保留高精度）是平衡体积与精度的有效手段。这些经验将贯穿整个课程，帮助学员避免"压缩后精度崩塌"的常见陷阱。

课程目标与学习路径规划

本课程旨在培养学员从"会训练模型"到"能部署模型"的完整能力闭环。课程结束后，学员将能够：独立完成从PyTorch/TensorFlow模型到嵌入式平台的压缩、转换、部署全流程；针对不同硬件平台（MCU/SoC/GPU）选择合适的压缩策略；熟练使用剪枝、量化、蒸馏三大主流技术；具备精度-速度-体积-功耗四维权衡的工程决策能力。

课程共30章，分为四大模块。第一模块（第1-5章）为嵌入式AI基础与工具链搭建，涵盖硬件平台选型、开发环境配置、ONNX/RKNN/TensorRT工具链使用。第二模块（第6-15章）为模型压缩核心技术，深入讲解结构化剪枝、非结构化剪枝、训练后量化（PTQ）、量化感知训练（QAT）、知识蒸馏、低秩分解等方法的原理与实现。第三模块（第16-24章）为部署优化实战，覆盖算子融合、内存优化、多线程调度、NPU/DSP异构计算、模型加密与保护等工程化主题。第四模块（第25-30章）为综合项目实战，包括智能家居语音识别、工业缺陷检测、自动驾驶目标跟踪、医疗影像分割等真实场景的完整部署案例。

学习路径建议遵循"理论-工具-实战"螺旋上升模式。每章均配有可运行的代码示例和数据集，学员应在本地环境同步实践。对于硬件资源有限的学员，可使用Google Colab进行模型压缩实验，再通过云服务器交叉编译部署到目标板。课程提供完整的Docker镜像，包含所有依赖工具链，确保环境一致性。