课程导入：旭日项目验收——识别率、实时性、稳定性和功耗指标
旭日项目是一个典型的边缘AI视觉识别系统研发项目，其核心任务是在嵌入式设备上完成实时图像采集、目标检测与分类、结果上报等全链路功能。经过数月的开发与联调，项目进入验收阶段。验收不是简单的“跑通演示”，而是需要一套可量化、可复现、可追溯的指标体系来证明系统达到了设计规格和用户预期。本章作为整个课程的开篇，将帮助学员建立对旭日项目验收工作的整体认知：明确验收目标、理解四大核心指标（识别率、实时性、稳定性、功耗）的定义与内在关联，并掌握后续课程的学习路径。
上图展示了旭日项目验收的总体框架。四大指标并非孤立存在，它们之间存在相互制约的关系：追求更高的识别率可能增加模型计算量，从而影响实时性；提升实时性（如提高帧率）可能导致功耗上升；而长时间高负载运行又可能引发稳定性问题。因此，验收工作必须从系统全局出发，理解各指标之间的权衡关系，才能做出科学、公正的验收结论。
1.1 旭日项目背景与验收目标
旭日项目面向智能安防场景，需要在低功耗嵌入式平台（如瑞芯微RK3588或算能BM1684）上部署一个轻量级目标检测模型，实现对人、车、物等目标的实时识别，并将结构化结果通过MQTT协议上报至云端。项目开发周期为6个月，经历了数据采集、模型训练、模型压缩（剪枝+量化）、C++推理引擎移植、应用层开发等阶段。验收阶段的目标是确认系统是否满足《旭日项目需求规格说明书》中定义的各项性能指标，并形成正式的验收报告，作为项目结项和交付的依据。
验收目标可以拆解为三个层次：功能符合性（系统能否完成规定的识别任务）、性能达标性（各项量化指标是否达到阈值）、工程健壮性（系统在长时间、复杂环境下是否可靠）。本章重点讨论性能达标性中的四大核心指标，因为这是验收中最容易产生争议、也最需要严谨方法论支撑的部分。
验收工作的本质：验收不是“走过场”，而是用数据证明系统“可信”。一份合格的验收报告应当包含完整的测试环境描述、测试用例清单、原始数据记录、指标计算过程以及结论分析。任何缺失都可能成为后续项目交付后的隐患。
1.2 四大核心指标的定义与验收视角
四大核心指标分别从不同维度刻画了系统的能力边界。理解它们的定义是后续测试设计的前提。
| 指标名称 | 核心关注点 | 典型量化参数 | 验收工具/方法 |
|---|---|---|---|
| 识别率 | 模型“认不认得准” | mAP、准确率、召回率、F1-score、误检率 | 标注数据集、推理脚本、混淆矩阵分析 |
| 实时性 | 系统“反应快不快” | 端到端延迟（ms）、FPS、P95/P99延迟、抖动率 | 时间戳打点、日志分析、性能剖析工具 |
| 稳定性 | 系统“撑得久不久” | MTBF、内存增长率、重启次数、异常恢复时间 | 长时间压测、内存监控、故障注入测试 |
| 功耗 | 系统“耗电省不省” | 平均功耗（W）、峰值功耗、待机功耗、能效比（FPS/W） | 功率计、电流探头、电池放电测试 |
从验收视角来看，识别率是“正确性”的保障，实时性是“体验”的底线，稳定性是“可用性”的前提，功耗是“部署”的约束。四者共同决定了系统能否在实际场景中长期、可靠、经济地运行。
1.3 指标间的耦合关系与权衡策略
在实际验收中，几乎不可能让四项指标同时达到最优。例如，为了提高识别率而引入更深的神经网络（如从YOLOv5s升级到YOLOv5m），会导致推理时间增加，实时性下降；为了降低功耗而降低CPU/GPU频率，则可能使帧率无法满足要求。因此，验收团队需要与研发团队共同确认指标的优先级。
在旭日项目中，需求方给出的优先级排序为：实时性 > 识别率 > 稳定性 > 功耗。这是因为该场景下，系统必须在25ms内完成一帧图像的识别并上报，否则会错过关键事件；在满足实时性的前提下，再追求更高的识别精度；稳定性要求系统7×24小时不间断运行；功耗则要求在电池供电场景下至少连续工作8小时。这个优先级排序直接影响了后续测试用例的设计和验收标准的制定。
风险提示：在验收过程中，如果发现某项指标不达标，不能简单地判定“验收不通过”。正确的做法是：首先确认测试条件是否与需求规格一致（例如光照、目标密度、网络带宽等）；其次分析不达标的原因（是算法问题、工程优化问题还是硬件瓶颈）；最后与项目干系人协商，是调整指标阈值、优化系统还是修改需求。验收是一个沟通与协商的过程，而非单向的“审判”。
1.4 验收流程与学习路径规划
旭日项目的验收流程分为五个阶段：验收准备（明确范围、准备测试环境、校准测试工具）、指标测试（按四大指标分别执行测试用例）、问题追踪（对不达标项进行根因分析）、回归验证（修复后重新测试）、报告输出（汇总数据、形成结论）。本课程后续章节将按照这个流程逐一展开。
具体的学习路径如下：
- 第2-4章：深入识别率指标，学习测试集构建、评估方法、mAP计算及常见陷阱。
- 第5-7章：聚焦实时性指标，掌握延迟拆解方法、性能分析工具使用及优化手段。
- 第8-10章：探讨稳定性指标，包括长时间压测方案设计、内存泄漏检测、异常恢复机制验证。
- 第11-13章：分析功耗指标，学习功耗测量方法、功耗优化策略及能效比评估。
- 第14-15章：综合实战，模拟完整验收流程，编写验收报告。
每一章都会结合旭日项目的实际数据、代码片段和测试日志，帮助学员将理论方法落地到具体操作中。
学习建议：在学习本章时，建议学员先通读《旭日项目需求规格说明书》中关于性能指标的部分，并尝试自己画出四大指标的关系图。带着“如果我是验收负责人，我会如何设计测试方案”这个问题进入后续章节，学习效率会更高。
1.5 常见误区与总结复盘
在项目验收实践中，初学者常犯以下错误：
- 误区一：只测“最好情况”。例如只在光线充足、目标清晰的条件下测试识别率，忽略了夜间、雨天等恶劣场景。正确的做法是覆盖需求中定义的所有典型场景和边界场景。
- 误区二：忽略测试环境的一致性。验收时的硬件平台、软件版本、网络环境必须与最终部署环境一致，否则测试结果不具备参考价值。
- 误区三：将平均值当作唯一标准。实时性指标不仅要看平均延迟，更要关注P95/P99延迟，因为极端延迟会导致实际使用中的卡顿。
- 误区四：功耗测试时间过短。有些设备在启动或高负载瞬间功耗很高，如果只测几分钟的平均值，可能掩盖峰值功耗问题。建议至少测试30分钟以上，并记录功耗曲线。