边缘计算与端侧AI基础：边缘设备类型、算力与内存限制、典型应用场景
在进入模型压缩的具体技术之前，我们必须先建立对“端侧”这个物理载体的清晰认知。模型压缩不是纯粹的理论游戏，而是针对特定硬件约束的工程优化。同一套压缩方案，在手机SoC上可能游刃有余，在MCU上却寸步难行。本章将系统梳理边缘设备的分类、算力与内存的硬性边界，以及典型应用场景对模型形态的隐性要求，为后续的剪枝、量化、蒸馏等章节奠定决策基础。
边缘设备的类型谱系与算力分级
边缘设备并非一个统一的类别，而是从“移动端”到“极简嵌入式”的连续谱系。理解这个谱系是选择压缩策略的第一步。我们可以将常见设备划分为四个层级，每个层级都有截然不同的硬件预算和软件生态。
| 设备层级 | 典型代表 | 算力范围 | 内存容量 | 操作系统 | AI加速单元 |
|---|---|---|---|---|---|
| L1 移动旗舰 | 智能手机、平板 | 10-50 TOPS (NPU) | 6-16 GB DRAM | Android/iOS | NPU+GPU+DSP |
| L2 智能IoT | 智能音箱、摄像头、门锁 | 1-5 TOPS | 256 MB - 2 GB | Linux/RTOS | 轻量NPU或DSP |
| L3 工业嵌入式 | 工控机、车载盒子、机器人 | 0.5-2 TOPS | 64-512 MB | Linux/Yocto | GPU或FPGA |
| L4 极简MCU | 传感器节点、电机控制、电表 | 10-100 GOPS | 16-512 KB SRAM | 裸机/FreeRTOS | 无，纯CPU |
这里需要特别指出的是，算力（TOPS）并不等于有效算力。很多NPU标称的TOPS是在特定稀疏度、特定数据类型（如INT8）下的峰值，实际部署中往往只能达到标称值的30%-60%。例如，某款手机NPU标称15 TOPS，但在运行YOLOv5s时，实际帧率对应的有效算力可能只有6-8 TOPS。因此，在评估压缩需求时，不能只看芯片手册，必须用代表性模型实测。
内存限制的深层影响：不只是参数容量
很多初学者只关注模型文件大小，却忽略了推理时的峰值内存。端侧AI的内存瓶颈通常来自三个方面：权重存储、中间激活值和运行时开销（如框架本身、输入输出缓冲）。以MobileNetV2为例，其权重约3.4 MB，但在224×224输入下，中间特征图可能占用5-8 MB，总峰值内存接近12 MB。如果设备只有8 MB可用，即使权重能放下，推理也会因内存不足而失败。
针对内存限制，压缩策略需要分层考虑：
- 权重压缩：通过量化（FP32→INT8）将权重缩小4倍，或通过剪枝将不重要的通道移除。
- 激活值优化：选择更小的输入分辨率，或使用ReLU6等限制激活值范围的算子，减少中间特征图的位宽。
- 内存复用：在推理引擎层面，通过内存池复用、原地操作（in-place）等技术，降低峰值内存。
值得注意的是，Flash存储与RAM的差异。模型权重通常存放在Flash（或ROM）中，运行时才加载到RAM。对于MCU设备，Flash可能只有1 MB，但RAM只有256 KB。此时，即使模型压缩到500 KB，如果推理时需要将全部权重加载到RAM，仍然会溢出。解决方案是采用流式推理（layer-by-layer加载），或使用外部SPI Flash配合DMA读取。
典型应用场景与模型形态的匹配
不同的应用场景对模型的延迟、精度、功耗和内存要求截然不同。我们通过三个典型场景来理解这种匹配关系。
场景一：手机端实时视频分割
在手机上进行实时人像分割（如视频通话背景替换），要求延迟低于30ms，精度需达到mIoU 85%以上。手机拥有NPU和充足内存，但功耗敏感。此时，压缩策略的优先级是：INT8量化（利用NPU的INT8加速）→ 通道剪枝（减少计算量）→ 知识蒸馏（用大模型指导小模型保持精度）。实际案例中，将DeepLabV3+从FP32的50 MB压缩到INT8的12 MB，延迟从80ms降至25ms，mIoU仅下降1.2%。
场景二：智能摄像头端侧目标检测
安防摄像头需要在设备端完成人形检测，只上传告警帧。设备为海思Hi3516DV300，算力约1 TOPS，内存512 MB。模型需在200ms内完成单帧检测。这里的关键约束是功耗——摄像头通常PoE供电，整机功耗限制在5W以内。压缩策略采用稀疏剪枝+INT8量化，将YOLOv5s从14 MB压缩至3.5 MB，检测帧率从8 FPS提升至15 FPS，功耗降低40%。
场景三：MCU上的关键词唤醒
在Cortex-M4 MCU（主频80MHz，SRAM 128 KB，Flash 512 KB）上实现“小爱同学”唤醒词检测。模型需在50ms内响应，精度需达到95%以上。这是最严苛的场景，必须采用极端量化（INT4甚至二值化）和结构剪枝。实际方案中，将TC-ResNet从2.3 MB压缩至45 KB（INT8），延迟控制在38ms，精度保持94.2%。
背景与约束：某智能门锁采用君正T40芯片（算力0.6 TOPS，内存128 MB），需在1秒内完成人脸识别（1:N比对，库容100人）。初始方案使用MobileFaceNet（FP32，4.2 MB），实测延迟1.8秒，内存占用96 MB，接近极限。
分析过程：通过profiling发现，瓶颈不在卷积计算，而在最后的全连接层（1280×100）和特征归一化操作。全连接层占用了30%的延迟，且内存中特征向量缓存过大。
优化步骤：① 将全连接层替换为余弦相似度计算，直接对1280维特征做内积，省去权重存储；② 对MobileFaceNet进行INT8量化，权重降至1.05 MB；③ 将输入分辨率从112×112降至96×96，激活值内存减少27%。
结果对比：优化后延迟降至0.7秒，内存占用降至41 MB，精度从99.1%微降至98.7%，满足门锁场景要求。
复盘经验：端侧优化往往不是单一技术，而是“算法结构调整+量化+输入裁剪”的组合拳。全连接层在端侧是“隐形杀手”，应优先替换为矩阵乘法或查表操作。
常见误区与工程复盘
在端侧AI部署的初始阶段，工程师常陷入以下误区，导致压缩方案反复返工。
- 误区一：只关注模型大小，忽略峰值内存。模型文件从10 MB压缩到2 MB，但推理时激活值仍占用大量内存，导致OOM。正确做法是使用推理引擎的profiling工具测量实际峰值内存。
- 误区二：盲目追求INT8量化，忽视精度回退。对于检测任务，INT8量化可能导致边界框回归精度下降。应先做敏感层分析，对敏感层保留FP16或使用混合精度量化。
- 误区三：忽略数据搬运成本。在MCU上，从Flash读取权重的耗时可能超过计算本身。此时，应优先考虑权重复用（如深度可分离卷积的通道复用），而非单纯减少参数量。
- 误区四：用PC端指标推断端侧性能。PC上的FLOPs与端侧NPU的实际周期数不成正比。NPU对算子类型有偏好（如3×3卷积高效，但5×5卷积可能被分解），必须用端侧benchmark工具实测。