4、评估指标精讲：深入理解精度指标（Top-1/Top-5、mAP、F1等）、延迟指标（单次推理时间、吞吐量、P99延迟）和体积指标（参数量、模型文件大小、内存占用）

在Edge AI模型压缩的实际落地中，我们经常面临一个尴尬的局面：压缩后的模型在验证集上精度看似没有下降，但部署到设备上后，用户体验却明显变差；或者模型文件变小了，但运行时内存却暴涨导致系统崩溃。这些问题的根源在于，我们对评估指标的理解过于单一和表面化。本章将系统拆解精度、延迟、体积三大类指标的本质含义、测量方法、适用场景以及它们之间的权衡关系，帮助你在模型压缩项目中建立一套科学的评估体系。

4.1 精度指标：从单一数值到多维评估

精度指标是衡量模型预测正确性的核心标尺，但在Edge AI场景下，我们不能简单地看一个"准确率"数字就下结论。不同任务类型需要不同的精度度量方式，而且压缩操作（如量化、剪枝）对不同类别的精度影响往往是非均匀的——可能整体精度只掉了0.3%，但某个关键类别（如行人检测中的"儿童"类别）的召回率却下降了15%。

4.1.1 核心原理：任务类型决定指标选择

精度指标的选择必须与任务类型严格对应。对于图像分类任务，Top-1和Top-5是最常用的指标；对于目标检测任务，mAP（mean Average Precision）是行业标准；对于像素级分割任务，mIoU（mean Intersection over Union）更为合适；而在类别不平衡的异常检测场景中，F1-Score和AUC往往比准确率更有参考价值。理解这些指标的数学定义和业务含义，是正确评估压缩影响的前提。

4.1.2 判断方法：压缩前后精度对比的"三看"原则

在实际评估压缩模型时，不能只看整体指标的变化，需要遵循"三看"原则：一看整体，确认Top-1或mAP等主指标是否在可接受范围内；二看分布，按类别、按难度、按尺寸分组查看精度变化，找出"重灾区"；三看趋势，在不同压缩率下绘制精度衰减曲线，判断是否存在"悬崖式"下降点。例如，当量化从INT8降到INT4时，如果mAP从28.3%骤降到19.7%，说明该模型对量化过于敏感，需要采用混合精度或量化感知训练。

4.1.3 案例拆解：INT8量化对检测模型的影响评估

某安防厂商在Jetson Nano上部署行人检测模型，原始FP32模型mAP@0.5为42.6%，模型大小42.3MB。目标是通过INT8量化将模型压缩至11MB以内，同时保证mAP下降不超过2个百分点。初步量化后，整体mAP降至40.8%，看似达标。但进一步按目标尺寸分组分析发现：小目标（像素面积<32×32）的AP从21.3%降至14.7%，下降幅度达31%。原因是小目标在量化过程中特征图信息损失更为严重。解决方案是采用敏感层混合精度——对检测头的前两层卷积保持FP16，其余层使用INT8。最终模型大小12.1MB，整体mAP 41.5%，小目标AP回升至19.2%，满足业务要求。

4.1.4 常见误区与总结

• 误区一：只看Top-1不看Top-5。在细粒度分类场景中，Top-5往往更能反映模型的"知识保留"程度，压缩后Top-1可能下降1%，但Top-5可能下降3%，说明模型对模糊类别的区分能力在退化。
• 误区二：忽略置信度校准。压缩后的模型往往存在置信度偏移（如过度自信），导致实际部署时误报率升高。建议同时评估Expected Calibration Error (ECE)。
• 误区三：用验证集精度代替测试集精度。压缩操作可能引入对特定数据分布的过拟合，务必使用独立的测试集进行最终评估。

4.2 延迟指标：真实硬件上的时间真相

延迟指标直接决定了Edge AI系统能否满足实时性要求。但延迟测量远比想象中复杂——同一模型在不同硬件、不同批大小、不同线程配置下的延迟差异可达10倍以上。更关键的是，平均延迟（P50）往往掩盖了最坏情况，而实际系统中导致卡顿的恰恰是P99甚至P99.9的延迟尖峰。

4.2.1 核心原理：延迟的构成与测量维度

单次推理时间（Latency）是指从输入数据进入模型到输出结果产生的完整时间，包括预处理、模型推理、后处理三个阶段。吞吐量（Throughput）则衡量单位时间内处理的样本数量，通常以FPS（Frames Per Second）或IPS（Inferences Per Second）表示。P99延迟是指99%的请求延迟低于该值，它反映了系统在负载波动下的稳定性。在Edge设备上，延迟还受到CPU/GPU频率调节、内存带宽竞争、温度降频等因素影响，因此必须在目标硬件上进行实测。

4.2.2 判断方法：延迟评估的标准流程

1. 确定硬件环境：明确CPU型号、GPU/NPU算力、内存类型与频率、散热条件。
2. 预热（Warm-up）：先运行50-100次推理，让缓存和频率稳定。
3. 多轮测量：至少测量1000次推理，记录每次的延迟数据。
4. 统计分布：计算P50、P90、P95、P99以及标准差。
5. 压力测试：在连续运行30分钟以上后再次测量，观察热降频的影响。

4.2.3 案例拆解：视频流分析场景的延迟优化

某智慧零售项目需要在RK3588上对8路视频流进行实时分析，每路要求≥15FPS。初始模型在单路测试时延迟为42ms（约24FPS），看似满足要求。但实际接入8路后，由于NPU资源竞争和内存带宽瓶颈，单路延迟飙升至85ms，P99达到120ms，严重超出15FPS要求。通过分析发现，瓶颈在于模型的前三层卷积计算量过大。采用通道剪枝（剪掉30%冗余通道）后，单路延迟降至31ms，8路并发时单路延迟稳定在58ms，P99为72ms，满足需求。同时，通过将预处理改为NEON优化版本，进一步降低了端到端延迟。

4.2.4 常见误区与总结

• 误区一：只报平均延迟。平均延迟相同的情况下，P99可能相差3倍以上。对于交互式应用，P99比P50更重要。
• 误区二：忽略批处理效应。某些NPU在batch=1时效率低下，但batch=4时吞吐量提升明显。需要根据实际业务场景选择合适的批大小。
• 误区三：不测量冷启动延迟。模型首次加载和推理的延迟可能比稳态高5-10倍，在需要频繁加载模型的场景中必须考虑。

4.3 体积指标：存储与内存的双重约束

体积指标直接决定了模型能否被装入目标设备的存储芯片和内存中。但"模型文件大小"和"运行时内存占用"是两个完全不同的概念——一个4MB的模型文件可能在运行时占用超过50MB的内存，因为激活值、中间特征图和优化器状态都需要额外空间。在Edge AI中，我们通常关注三个层面：静态存储体积（模型文件大小）、动态内存峰值（推理过程中的最大内存占用）、参数规模（参数量，影响计算量和内存带宽）。

4.3.1 核心原理：体积指标的层次关系

参数量（Parameters）是模型的固有属性，通常以百万（M）或十亿（B）为单位。模型文件大小（Model Size）取决于参数量、数据类型（FP32/FP16/INT8）以及是否包含优化器状态或元数据。内存占用（Memory Footprint）则包括权重内存、激活内存、临时缓冲区以及推理框架自身的开销。例如，一个参数量为5M的模型，在FP32下文件大小为20MB（5M×4字节），但在推理时如果输入分辨率为640×640，激活值可能额外占用30-80MB内存。

4.3.2 判断方法：内存占用的精确测量

要准确测量模型在设备上的内存占用，不能仅依赖框架自带的profiler，建议采用以下方法：方法一，使用Linux的/proc/[pid]/status中的VmRSS字段，在推理前后分别读取，差值即为模型推理的内存增量；方法二，在代码中调用malloc_stats()或mallinfo()获取堆内存详情；方法三，对于嵌入式设备，可以通过查看FreeRTOS的heap剩余量或使用板载调试器的内存监视功能。关键是要区分权重常驻内存和激活峰值内存，前者是静态的，后者随输入尺寸变化。

4.3.3 案例拆解：语音唤醒词模型的存储优化

某智能家居设备仅有2MB Flash和512KB RAM可用，需要部署一个语音唤醒词模型。原始模型为DS-CNN，参数量320K，FP32文件大小1.28MB，勉强可放入Flash，但运行时内存占用达到680KB，超出RAM限制。通过三步压缩：第一步，将权重从FP32量化为INT8，文件降至320KB，内存降至210KB；第二步，应用深度可分离卷积替换标准卷积，参数量降至180K，文件降至180KB，内存降至150KB；第三步，将第一层和最后一层保持FP16，中间层使用INT8混合精度，最终文件大小195KB，内存占用168KB，精度损失仅0.8%。该方案成功在目标设备上实现实时推理。

4.3.4 常见误区与总结

• 误区一：只关注文件大小，忽略内存峰值。文件大小只影响存储，内存峰值决定能否运行。某些量化模型文件很小，但反量化操作会临时占用大量内存。
• 误区二：忽略框架和运行时开销。TensorFlow Lite Micro、ONNX Runtime等框架本身会占用10-50KB内存，多模型场景下还需考虑模型切换时的内存重叠。
• 误区三：不评估多实例并发。如果设备需要同时运行多个模型实例（如同时处理音频和视频），内存占用需要乘以实例数。

4.4 联合评估：精度-延迟-体积的权衡决策

在实际项目中，三大指标很少能同时达到最优。压缩率提升往往以精度下降为代价，而某些加速技术（如Winograd卷积）虽然降低延迟，却可能增加内存占用。因此，需要建立一套联合评估框架，根据应用场景确定指标的优先级权重。

4.4.1 核心原理：定义综合评估分数

一个实用的方法是定义综合效率分数（Composite Efficiency Score, CES）：CES = α × (精度保留率) + β × (延迟加速比) + γ × (体积压缩比)，其中α、β、γ根据业务需求设定，且α+β+γ=1。例如，对于实时视频分析，可能设定α=0.4，β=0.4，γ=0.2；对于离线批量处理，则可能设定α=0.6，β=0.1，γ=0.3。通过计算不同压缩方案的CES，可以量化比较剪枝、量化、蒸馏等不同技术的综合收益。

4.4.2 判断方法：多方案对比决策流程

1. 明确约束条件：列出硬性限制（如内存≤256MB、延迟≤50ms、文件≤20MB）。
2. 生成候选方案：对同一模型应用不同压缩组合（如INT8量化、30%剪枝、知识蒸馏等）。
3. 全指标测量：在目标硬件上测量每个方案的精度、P50/P99延迟、内存峰值、文件大小。
4. 计算CES分数：根据业务权重计算综合得分，并检查是否满足所有硬性约束。
5. 敏感性分析：对最优方案进行±10%的参数扰动测试，确认性能稳定。

4.4.3 案例拆解：智能门锁人脸识别模型的综合选型

某智能门锁产品需要升级人脸识别功能，硬件平台为Cortex-A53双核1.2GHz，内存256MB，Flash 8MB。业务要求：识别准确率≥98.5%，从按下门铃到识别完成≤1.5秒（含图像采集），模型文件≤6MB。候选方案有三个：方案A：MobileFaceNet-FP32（文件4.8MB，精度99.1%，延迟820ms，内存峰值145MB）；方案B：MobileFaceNet-INT8（文件1.2MB，精度98.2%，延迟410ms，内存峰值68MB）；方案C：MobileFaceNet-INT8+剪枝30%（文件0.8MB，精度97.5%，延迟350ms，内存峰值52MB）。虽然方案C的文件和延迟最优，但精度低于98.5%的硬性要求，因此被否决。方案B满足所有约束，且CES得分最高（α=0.5，β=0.3，γ=0.2），最终被采用。复盘发现，方案B的精度下降主要来自INT8量化对特征嵌入层的损失，后续通过量化感知训练将精度提升至98.7%，进一步巩固了方案B的优势。

4.4.4 总结与复盘

联合评估的核心不是找到"指标最好"的方案，而是找到"约束满足且综合最优"的方案。建议团队建立标准化的评估模板，包含所有关键指标和测量条件，确保不同压缩方案之间的可比性。同时，要建立指标与用户体验的映射关系——例如，P99延迟超过200ms会导致用户感知卡顿，精度下降1%可能意味着每天多出几十次误识别。只有将技术指标翻译为业务语言，才能做出真正合理的压缩决策。