Edge AI基础：边缘计算、模型压缩的基本原理与适用场景
在进入实验管理之前，必须先建立对Edge AI技术底座的清晰认知。边缘计算将推理任务从云端下沉到设备端，而模型压缩则是让深度神经网络在有限算力、内存和功耗约束下“跑得动、跑得快、跑得省”的关键工程手段。本节将系统梳理边缘计算的核心价值、三种主流压缩技术（剪枝、量化、蒸馏）的数学原理与工程取舍，并给出选型判断框架。
2.1 边缘计算的核心特征与工程约束
边缘计算（Edge Computing）并非简单的“把模型放到设备上跑”，而是一种分布式计算范式，它将数据处理、模型推理和决策能力下沉到靠近数据源头的网络边缘。在工业质检、自动驾驶、智能安防、可穿戴设备等场景中，边缘计算解决了云端的三大痛点：网络时延不可控（云端往返可能超过100ms）、数据隐私合规风险（原始图像/音频不宜上传）、带宽成本高昂（海量视频流持续上传不现实）。
从工程角度看，边缘设备通常分为三个层级：MCU级（如Cortex-M系列，算力不足1 GOPS，内存仅数百KB）、应用处理器级（如树莓派、Jetson Nano，算力1-10 GOPS，内存1-4GB）、边缘服务器级（如Jetson AGX Orin、Intel NUC，算力可达100+ TOPS）。不同层级的压缩策略差异巨大——MCU上可能只能运行极端的二值化网络，而边缘服务器则可以保留相对完整的模型结构。
2.2 模型剪枝：从结构化到非结构化
剪枝（Pruning）的核心思想是：深度神经网络中存在大量冗余参数，移除这些参数对最终输出的影响可以控制在可接受范围内。剪枝分为非结构化剪枝和结构化剪枝两大类。
非结构化剪枝（也叫细粒度剪枝）直接对单个权重进行筛选，将值低于阈值的权重置零。这种方法压缩率最高（可达90%以上），但产生的是稀疏矩阵，需要专门的稀疏计算库（如OpenBLAS稀疏模式）或硬件支持才能获得实际加速。在通用CPU上，非结构化剪枝往往“看起来模型变小了，但跑起来没变快”。
结构化剪枝则按通道（Channel）、滤波器（Filter）或层（Layer）为单位进行整体移除。这种方法不会破坏矩阵的稠密结构，可以直接获得推理加速。其中通道剪枝是最常用的形式——通过评估每个通道对输出的贡献度（如BN层缩放因子、L1范数、泰勒展开近似），移除贡献低的通道，然后进行微调恢复精度。
| 对比维度 | 非结构化剪枝 | 结构化剪枝（通道/滤波器） |
|---|---|---|
| 粒度 | 单个权重 | 整个通道/滤波器 |
| 压缩率 | 高（80-95%） | 中（40-70%） |
| 实际加速 | 需专用硬件/库 | 通用硬件直接加速 |
| 精度恢复难度 | 较容易（微调即可） | 较难（结构改变大） |
| 适用场景 | FPGA/ASIC定制 | CPU/GPU/NPU通用部署 |
剪枝的典型流程包括：训练大模型 → 评估通道重要性 → 剪除低贡献通道 → 微调恢复 → 验证精度与速度。其中通道重要性评估是关键步骤，常用的方法有：基于BN层γ系数的幅度评估、基于梯度信息的敏感度分析、基于特征图重建误差的优化方法。在实际项目中，建议采用渐进式剪枝（逐步增加剪枝比例，每步微调），而非一次性剪到目标比例，这样能显著降低精度崩塌的风险。
2.3 量化：用位宽换效率
量化（Quantization）是将浮点模型（FP32）转换为低比特表示（INT8、INT16、INT4等）的过程。其数学本质是：用有限的离散值集合来近似连续的权重和激活值分布。量化的收益非常直接——模型体积减少4倍（FP32→INT8），推理速度提升2-4倍，内存带宽需求大幅下降。
从工程实现角度，量化分为训练后量化（PTQ）和量化感知训练（QAT）。PTQ不需要重新训练，只需用少量校准数据统计激活值的范围，然后进行线性或非线性映射。PTQ实现简单，但在低比特（INT4以下）或模型敏感层上精度损失可能较大。QAT则在训练过程中模拟量化误差，让模型自适应地调整权重分布，精度更高，但需要完整的训练流程和标注数据。
量化参数的选择至关重要：对称量化（零点为0）适合权重分布接近零对称的情况，非对称量化（零点可偏移）适合ReLU等非负激活函数。Per-tensor量化（整个张量共享一个缩放因子）实现简单但精度较差，Per-channel量化（每个通道独立缩放）精度更好，是工业界的默认选择。
2.4 知识蒸馏：向小模型迁移能力
知识蒸馏（Knowledge Distillation）的核心思想是：用一个强大的教师模型（Teacher）来指导一个轻量的学生模型（Student）训练。学生模型不仅学习真实标签（Hard Label），还学习教师模型的输出概率分布（Soft Label），从而获得教师模型“暗知识”——例如类别间的相似性、模糊样本的倾向性等。
蒸馏的关键在于温度参数T。教师模型的输出经过Softmax(T)后，概率分布变得更加平滑，暴露出更多“暗知识”。T值越大，分布越平滑；T值过大会丢失信息，过小则退化为普通训练。实践中T通常取3-8之间。损失函数由两部分组成：蒸馏损失（学生输出与教师软标签的KL散度）和学生损失（学生输出与真实标签的交叉熵），两者通过权重系数α平衡。
蒸馏的适用场景非常广泛：当目标设备无法容纳大模型时，蒸馏可以训练一个结构紧凑但性能接近大模型的小模型；当数据标注成本高时，蒸馏可以利用教师模型在无标注数据上生成伪标签进行半监督学习；当需要多任务融合时，蒸馏可以将多个教师模型的知识融合到单一学生模型中。
2.5 压缩技术选型判断框架
面对实际项目，如何选择压缩技术？建议从以下四个维度进行判断：
- 硬件约束优先级：如果内存是首要瓶颈（如MCU），优先量化；如果算力是瓶颈（如CPU推理），优先结构化剪枝；如果两者都紧张，则组合使用。
- 精度敏感度：对精度要求极高（如医疗诊断），优先蒸馏或QAT；对精度容忍度较高（如安防初步筛选），可大胆使用PTQ+剪枝。
- 开发周期：PTQ只需数小时，剪枝需要数天，QAT和蒸馏需要数周。项目排期紧张时，优先PTQ+结构化剪枝的快速组合。
- 部署工具链：不同硬件厂商的推理框架（TensorRT、OpenVINO、TFLite、RKNN）对压缩技术的支持程度不同。例如TensorRT对INT8量化支持成熟，但对非结构化剪枝支持有限。
2.6 实战场景：工业缺陷检测的压缩方案设计
某电子制造企业需要在产线部署PCB缺陷检测系统，要求检测速度≥30FPS，模型部署在Jetson Nano（4GB内存，算力472 GFLOPS）上。原始模型为ResNet-50（FP32，约98MB），在GPU服务器上精度为99.2%，但直接部署到Jetson Nano上推理时延高达180ms，无法满足实时性要求。
约束分析：Jetson Nano的内存带宽有限，FP32模型加载后占用约400MB内存（含中间激活），接近内存上限；算力不足以支撑ResNet-50的密集计算。目标是将推理时延压缩到30ms以内，同时精度不低于97%。
压缩方案设计：
- 第一步：结构化剪枝。使用BN层γ系数作为通道重要性指标，对ResNet-50进行渐进式通道剪枝，剪枝比例设为40%。剪枝后模型大小降至约58MB，推理时延降至95ms。
- 第二步：INT8量化。使用500张产线真实PCB图像作为校准集，进行per-channel PTQ量化。量化后模型大小降至约15MB，推理时延降至28ms，精度为98.1%。
- 第三步：验证与微调。在Jetson Nano上实测，内存峰值约180MB，功耗从8.5W降至4.2W，精度98.1%满足要求。但发现某些低对比度缺陷样本误检率偏高，使用QAT对最后两个残差块进行量化感知微调，精度恢复至98.6%。
结果对比：
| 方案 | 模型大小 | 推理时延 | 精度 | 内存峰值 |
|---|---|---|---|---|
| 原始FP32 | 98MB | 180ms | 99.2% | 410MB |
| 剪枝40% | 58MB | 95ms | 98.7% | 260MB |
| 剪枝+INT8 | 15MB | 28ms | 98.1% | 180MB |
| 剪枝+INT8+QAT微调 | 15MB | 28ms | 98.6% | 180MB |
复盘经验：① 剪枝和量化是正交的，可以叠加使用，但要注意顺序——先剪枝后量化通常效果更好，因为剪枝后的模型分布更集中，量化误差更小；② 校准集的质量直接影响量化效果，必须从产线实际采集，覆盖不同光照、不同缺陷类型；③ QAT微调不需要全模型，只对敏感层进行即可，大幅节省训练时间；④ 最终方案在30台设备上稳定运行3个月，精度波动小于0.3%，证明了压缩方案的可靠性。
2.7 总结与实验管理启示
边缘计算与模型压缩是Edge AI实验管理的技术前提。在后续的实验中，每一次剪枝比例调整、量化参数变更、蒸馏温度设置，都会产生一个新的模型版本和一组新的性能指标。因此，实验管理系统的设计必须从一开始就考虑：如何记录压缩配置的完整参数？如何自动对比不同压缩方案的精度-速度-体积权衡？如何追踪量化校准集版本对结果的影响？这些问题的答案，将在后续章节中逐步展开。