1、课程导入：嵌入式AI概述、模型压缩与部署的意义
嵌入式AI（TinyML / Edge AI）是指在资源受限的MCU、低功耗SoC或边缘计算设备上直接运行机器学习推理任务的技术体系。与云端AI依赖大规模GPU集群不同，嵌入式AI强调在功耗、内存、算力、带宽均受限的条件下，实现实时、可靠、低成本的智能决策。模型压缩与部署是连接“训练好的大模型”与“物理世界中的小设备”之间的桥梁——没有高效的压缩与部署技术，再优秀的算法也无法在嵌入式环境中落地。本章作为课程总纲，将系统梳理嵌入式AI的产业背景、技术挑战、课程学习路径以及典型应用场景，帮助学习者建立全局技术视野。
上图展示了嵌入式AI从云端训练到边缘部署的完整技术链路。可以看到，模型压缩处于核心枢纽位置，它需要同时兼顾算法精度、硬件适配和业务实时性三个维度。接下来，我们将从产业需求出发，深入剖析为什么模型压缩是嵌入式AI落地的关键瓶颈，并给出本课程的学习地图。
1.1 嵌入式AI的技术本质与产业驱动力
核心原理：嵌入式AI并非简单地将神经网络“缩小”后放入设备，而是一个跨层协同设计问题。其技术栈包含四个层次：算法层（模型结构设计、压缩策略）、编译层（算子优化、内存规划）、运行时层（推理引擎、调度器）和硬件层（NPU/GPU/DSP的指令集适配）。产业界对嵌入式AI的需求主要来自三个驱动力：数据隐私（医疗影像、人脸数据不出本地）、实时性（工业控制要求毫秒级响应）、连接成本（云端推理的带宽和时延开销）。
| 对比维度 | 云端AI | 嵌入式AI |
|---|---|---|
| 算力资源 | TFLOPS级GPU | GOPS级MCU/NPU |
| 内存容量 | 数十GB | 数百KB~数MB |
| 功耗预算 | 数百瓦 | mW~W级 |
| 推理时延 | 100ms~1s | 1ms~50ms |
| 网络依赖 | 必须联网 | 可离线运行 |
| 典型模型 | 、ResNet-152 | MobileNetV3、TinyML模型 |
判断方法：在实际项目中，判断一个AI任务是否适合嵌入式部署，需要评估三个关键指标：模型参数量（是否小于设备可用内存的1/3）、计算量（MACs是否在设备算力峰值内）、精度损失容忍度（压缩后精度是否满足业务阈值）。例如，一个100万参数的模型在1MB内存的MCU上部署时，仅权重就占用400KB（INT8），还需预留激活值和中间缓冲区，因此必须进行压缩。
1.2 模型压缩的核心技术体系
核心原理：模型压缩技术可分为四类：量化（将FP32权重映射为INT8/INT4，降低存储和计算位宽）、剪枝（移除不重要的权重通道或神经元）、知识蒸馏（用小模型学习大模型的软输出）、低秩分解（将权重矩阵分解为低秩近似）。其中，量化是嵌入式部署最常用且收益最直接的手段——一个FP32模型（4字节/参数）转为INT8后，体积直接缩小4倍，推理速度提升2~3倍。
操作流程：以量化为例，标准流程包括：① 收集代表性校准数据集（约100~500张）；② 统计每层激活值的动态范围（min/max或百分位）；③ 选择量化方案（对称/非对称、per-tensor/per-channel）；④ 模拟量化误差并调整；⑤ 导出量化模型并部署。实际工程中，per-channel量化对卷积核的精度保持效果优于per-tensor，但硬件支持度需要提前确认。
# 伪代码示例：PyTorch后训练量化流程
import torch
model = load_model("resnet18_fp32.pth")
model.eval()
# 步骤1：准备校准数据
calib_loader = get_calib_loader(num_samples=200)
# 步骤2：配置量化器
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
torch.quantization.prepare(model, inplace=True)
# 步骤3：校准（前向传播收集统计量）
with torch.no_grad():
for data in calib_loader:
model(data)
# 步骤4：转换量化模型
torch.quantization.convert(model, inplace=True)
torch.save(model.state_dict(), "resnet18_int8.pth")案例拆解：某工业视觉项目需要将缺陷检测模型部署到ARM Cortex-A53设备上。原始模型为ResNet-50（25.6M参数，FP32体积约102MB），设备内存仅512MB。通过三步压缩：① 知识蒸馏（用ResNet-50蒸馏ResNet-18，精度从98.2%降至97.8%）；② INT8量化（体积降至12.8MB）；③ 通道剪枝（移除30%冗余通道，体积降至8.9MB）。最终推理时延从420ms降至85ms，精度保持97.5%，满足产线99%的准确率要求。关键教训是：蒸馏和量化可以叠加使用，但剪枝与量化同时进行时需重新校准，否则精度损失会叠加放大。
1.3 嵌入式部署的硬件适配与工具链
核心原理：嵌入式AI硬件分为三类：MCU级（ARM Cortex-M系列，带DSP指令扩展）、应用处理器级（Cortex-A系列+GPU/NPU）、FPGA级（可重构计算）。不同硬件对应不同的部署工具链：MCU常用CMSIS-NN、TFLite Micro；Linux设备常用ONNX Runtime、TensorRT；FPGA常用Vitis AI。选择硬件时需考虑算力密度（GOPS/W）和内存带宽两个核心指标。
| 硬件平台 | 典型芯片 | 算力 | 内存 | 部署工具链 |
|---|---|---|---|---|
| MCU | STM32H743 | ~1 GOPS | 1MB SRAM | TFLite Micro / CMSIS-NN |
| Linux SoC | RK3588 | 6 TOPS NPU | 8GB LPDDR | RKNN-Toolkit / ONNX Runtime |
| FPGA | Xilinx ZU7EV | ~2 TOPS | 4GB DDR | Vitis AI / DPU |
判断方法：选择部署方案时，建议按以下顺序决策：① 确定功耗和成本上限；② 评估模型计算量（MACs）和内存峰值；③ 对比硬件算力余量（至少留30%余量给系统任务）；④ 验证工具链对模型算子的支持度（如是否支持自定义激活函数）。
案例拆解：智能家居语音唤醒方案中，设备采用ESP32-S3（内置向量扩展指令）。初始方案使用DNN模型（3层全连接，50万参数），FP32推理需120ms，功耗过高。通过以下优化：① 权重量化至INT8（体积从2MB降至0.5MB）；② 激活函数替换为ReLU6（硬件友好）；③ 使用ESP-DL库的SIMD优化算子。最终推理时间降至18ms，功耗从120mW降至45mW，唤醒率保持95%以上。此案例说明算法-硬件协同设计的重要性——单纯压缩模型而不优化算子，无法发挥硬件全部潜力。
1.4 典型应用场景深度解析
核心原理：嵌入式AI的应用场景可归纳为三类模式：感知类（图像分类、目标检测、语音识别）、控制类（预测性维护、闭环控制）、交互类（手势识别、情感计算）。每类场景对延迟、精度、功耗的要求差异显著：工业视觉要求99.9%精度和<30ms延迟；智能家居语音唤醒要求95%精度和<100ms延迟；自动驾驶则要求功能安全等级ASIL-D。
场景拆解：以工业视觉中的PCB缺陷检测为例，其部署难点在于：① 缺陷类型多样（划痕、短路、缺件），需要多任务头；② 产线节拍要求每片检测<50ms；③ 设备环境温度高，需考虑散热对NPU性能的影响。实际方案采用YOLOv5s + INT8量化 + 通道剪枝，部署在Jetson Nano上。通过TensorRT的层融合技术（将Conv+BN+ReLU融合为单个算子），推理时延从78ms降至32ms。同时，利用动态batch（将4张图像打包推理）进一步将吞吐量提升至120FPS。