2. Edge AI基础概念
在进入Edge AI融合工程交付的细节之前，必须先厘清一组高频出现但经常被混用的术语。边缘计算、端侧推理、模型压缩与软硬协同，这四个概念构成了Edge AI工程落地的技术底座。它们不是孤立的学术名词，而是决定了采集规范如何制定、模型接口如何设计、测试清单如何编排的底层约束。本章将逐一拆解这些术语的工程含义，并通过一个完整的场景化案例，展示它们如何在真实项目中协同工作。
上图展示了四个核心概念之间的支撑关系。边缘计算提供了部署形态的框架，端侧推理是模型运行的最终形态，模型压缩是让推理成为可能的前置手段，而软硬协同则是贯穿始终的工程优化主线。理解这四者的关系，是后续制定采集规范和测试清单的前提。
2.1 边缘计算：部署形态与计算边界
核心原理：边缘计算并非简单地把服务器搬到机房外面，而是一种分布式计算架构，其本质是将数据处理能力下沉到数据产生的物理位置附近。在Edge AI语境下，边缘计算通常分为三个层级：就近边缘（如工厂车间内的智能网关）、区域边缘（如园区级边缘服务器）和云中心。每一层承担不同的计算职责，形成"端-边-云"协同的算力梯度。
判断方法：在工程交付中，判断一个场景是否需要边缘计算，可以依据三个指标：
- 时延预算：如果端到端响应要求小于50ms，则推理必须在边缘或端侧完成，因为网络往返（RTT）通常占据10-100ms。
- 数据量级：如果每秒产生超过10MB的原始数据（如工业相机流），全部回传云端既不经济也不现实。
- 连接可靠性：在矿山、海上平台等弱网环境，边缘计算是保证业务连续性的唯一选择。
2.2 端侧推理：从模型到硬件的最后一公里
核心原理：端侧推理指的是将训练好的深度学习模型部署到终端设备（如手机、摄像头、MCU、工业PLC）上，直接利用设备本地算力完成前向推理计算。与云端推理相比，端侧推理具有数据不出本地、无网络依赖、功耗受限三大特征。端侧推理的硬件载体从低到高包括：MCU（如Cortex-M系列）、应用处理器（如高通骁龙）、专用NPU（如寒武纪、地平线）、以及GPU（如Jetson系列）。
操作流程：一个标准的端侧推理部署流程包含以下步骤：
- 模型格式转换：将PyTorch/TensorFlow模型转换为ONNX或TFLite格式。
- 量化校准：使用代表性数据集进行INT8量化，校准激活值范围。
- 算子映射：将模型中的算子映射到目标硬件的加速指令集上。
- 运行时集成：通过推理引擎（如TensorRT、TFLite Micro、OpenVINO）加载模型。
- 端到端验证：在真实硬件上验证精度、时延和功耗。
| 推理引擎 | 目标硬件 | 支持量化 | 典型时延（MobileNetV2） |
|---|---|---|---|
| TFLite Micro | Cortex-M系列MCU | INT8 | 300-800ms |
| TensorRT | NVIDIA GPU/NPU | INT8/FP16 | 5-15ms |
| OpenVINO | Intel CPU/VPU | INT8 | 10-30ms |
| RKNN | Rockchip NPU | INT8 | 8-20ms |
2.3 模型压缩：让模型"瘦身"而不"失智"
核心原理：模型压缩是一组技术的总称，目的是在保持模型精度的前提下，减少模型参数量、计算量和内存占用。在Edge AI场景中，模型压缩不是可选项，而是必选项——因为端侧硬件的SRAM通常只有几百KB到几MB，而一个未经压缩的ResNet-50模型就有约100MB参数。
四种主流压缩技术：
- 剪枝（Pruning）：移除权重矩阵中接近零的冗余连接。结构化剪枝（按通道/滤波器剪）更适合硬件加速，非结构化剪枝则需要特殊稀疏库支持。
- 量化（Quantization）：将FP32权重映射到INT8或INT4。训练后量化（PTQ）简单但精度损失较大；量化感知训练（QAT）精度更高但需要重新训练。
- 知识蒸馏（Distillation）：用一个大型教师模型指导一个小型学生模型学习，学生模型模仿教师模型的输出分布。
- 低秩分解（Low-rank）：将权重矩阵分解为两个低秩矩阵的乘积，减少乘法运算次数。
2.4 软硬协同：超越"移植"的系统优化
核心原理：软硬协同是指算法工程师与硬件工程师共同设计，使模型结构、算子实现、内存访问模式与底层硬件架构（如NPU的MAC阵列、DSP的SIMD指令、内存的DMA通道）深度匹配。单纯的"模型移植"只解决了"能跑"的问题，而软硬协同解决的是"跑得快、跑得稳、跑得省"的问题。
关键协同点：
- 算子融合：将Conv+BN+ReLU融合为单一算子，减少内存读写次数。
- 内存布局：根据硬件的缓存行大小调整特征图的存储顺序（NHWC vs NCHW）。
- 异构调度：将不同层分配到不同计算单元（如将预处理放在CPU，将卷积放在NPU）。
- 电源管理：根据推理负载动态调整CPU/GPU频率，避免"大马拉小车"的能耗浪费。
2.5 场景化案例：工业视觉质检中的Edge AI落地
背景与约束：某汽车零部件工厂需要在产线上部署表面缺陷检测系统。产线节拍为每件产品2.5秒，检测项包括划痕、凹坑、脏污三类缺陷。工厂网络环境不稳定，且出于数据安全考虑，产品图像不允许上传至云端。硬件预算限制为每工位不超过3000元，只能选用带NPU的工业相机（如瑞芯微RV1126平台，集成2TOPS NPU）。
初始现象与目标：最初尝试直接使用YOLOv5s模型（约7.3MB，FP32），在RV1126上推理时延为1.8秒，加上图像采集和机械臂分拣时间，总耗时2.9秒，超出节拍预算。目标是将单次推理时延压缩至1.2秒以内，同时保持缺陷检出率（Recall）不低于95%。
关键输入数据与参数：
- 输入图像分辨率：1280×720，RGB三通道。
- 模型原始精度：FP32，mAP@0.5为0.982。
- NPU可用内存：512MB DDR，其中模型权重占用约200MB。
- 量化校准集：从产线采集的2000张正常/缺陷混合图像。
分析判断过程：首先，通过性能分析工具（RKNN Toolkit）定位瓶颈。发现模型在NPU上的卷积层计算仅占35%时间，而上采样层和拼接层由于算子不支持NPU加速，回退到CPU执行，消耗了45%的时间。这说明单纯压缩模型体积无法解决根本问题，必须进行结构重设计。
实际操作步骤：
- 结构替换：将YOLOv5s的Focus层替换为普通的Conv+Stride=2，避免在NPU上产生低效的切片操作。
- 量化感知训练：使用QAT对替换后的模型进行微调，训练5个epoch，学习率设为1e-4。
- 算子融合：在RKNN转换时开启Conv+BN融合，并将LeakyReLU替换为ReLU（NPU对ReLU有硬件加速）。
- 通道剪枝：对最后一个检测头的64个通道剪枝至48个，精度损失0.3%，但计算量减少18%。
结果对比：
| 方案 | 模型大小 | 推理时延 | mAP@0.5 | 是否满足节拍 |
|---|---|---|---|---|
| 原始YOLOv5s (FP32) | 7.3MB | 1.8s | 0.982 | 否 |
| 结构替换+QAT (INT8) | 1.9MB | 0.9s | 0.971 | 是 |
| 进一步通道剪枝 (INT8) | 1.4MB | 0.7s | 0.968 | 是（余量充足） |
风险与代价：QAT训练需要额外的GPU资源和数据标注，增加了约3天的开发周期。通道剪枝后，模型对低对比度划痕的检出率下降了0.5个百分点，但通过调整图像预处理中的对比度增强参数（将CLAHE的clipLimit从2.0提升至2.5），最终检出率恢复至96.2%。
复盘经验：这个案例揭示了Edge AI交付中的一条核心法则：模型压缩必须与硬件算子支持同步考虑。如果只做量化而不做结构重设计，时延瓶颈依然存在。同时，量化后的精度损失可以通过输入侧的数据增强来补偿，这提醒我们在制定采集规范时，需要为图像预处理预留参数调节空间。
2.6 常见误区与总结复盘
误区一：认为"边缘计算=边缘服务器"。实际上，边缘计算是一个连续谱系，从MCU到边缘网关再到边缘服务器，都属于边缘计算的范畴。选型时应根据算力需求和功耗预算决定具体形态。
误区二：模型压缩后精度下降就否定压缩。精度下降往往是因为量化校准集不具有代表性。正确的做法是采集覆盖所有光照、角度、噪声条件的校准数据，而不是随意截取几百张图片。
误区三：忽视软硬协同的"软"部分。很多团队只关注模型和硬件，却忽略了推理引擎的版本差异。同一个模型在RKNN 1.7.2和1.8.0上的算子融合策略不同，可能导致时延相差30%。在交付时，必须锁定推理引擎版本并写入测试清单。