模型延迟与吞吐量指标：延迟、吞吐量、实时性、功耗与延迟的权衡、性能评估方法
在振动检测TinyML场景中，模型性能评估不能仅看准确率。一个在服务器上达到95%分类准确率的模型，部署到MCU后若单次推理耗时超过采样窗口，就会导致数据积压、实时性丧失，甚至因功耗过高而无法电池供电。本章围绕延迟、吞吐量、实时性、功耗与延迟的权衡以及性能评估方法五个核心维度展开，帮助你在资源受限的嵌入式设备上建立科学的性能度量体系。
核心原理：四个指标的定义与内在关联
延迟（Latency）指从输入数据到达模型输入端口到输出结果完全产生的总时间，通常以毫秒（ms）为单位。在振动检测中，延迟包括传感器数据采集时间、预处理时间（如FFT变换）、模型推理时间和后处理时间。需要特别区分单次推理延迟和端到端延迟——前者仅指模型计算耗时，后者包含完整数据链路。
吞吐量（Throughput）表示系统在单位时间内能处理的样本数量，常用每秒推理次数（FPS）或每分钟样本数表示。对于振动检测，吞吐量决定了设备能否跟上传感器采样率。例如，采样率为2kHz的加速度计，若每次推理需要128个采样点，则每秒需处理约15.6个窗口，吞吐量必须大于15.6 FPS。
实时性（Real-time）是比延迟更严格的约束，它要求系统必须在规定截止时间（Deadline）内完成处理。振动检测通常属于硬实时或软实时场景：硬实时要求100%满足截止时间（如安全联锁），软实时允许偶尔超时（如状态监测）。实时性不仅取决于平均延迟，更关注最坏情况执行时间（WCET）和延迟抖动。
功耗与延迟的权衡是TinyML特有的核心矛盾。CMOS电路中，动态功耗与电压平方成正比，降低工作电压可显著省电，但会降低最大运行频率，从而增加延迟。此外，模型量化（如从FP32降到INT8）可减少计算量和内存访问，但可能引入精度损失。实际工程中需要在能量预算（如电池容量）和响应时间之间寻找平衡点。
判断方法：如何测量与评估性能指标
性能评估需要系统化的测量方法，以下是标准流程：
- 确定测量基准：固定输入数据（使用真实振动信号或标准测试向量），固定硬件状态（关闭Wi-Fi/蓝牙等干扰源），固定编译器优化等级。
- 延迟测量：使用硬件定时器（如ARM Cortex-M的DWT->CYCCNT寄存器）记录推理前后时间戳，重复运行1000次以上，统计平均值、P95、P99和最大值。
- 吞吐量测量：连续运行N个样本（如1000个），记录总耗时，计算FPS = N / 总时间。注意排除数据加载时间。
- 功耗测量：使用高精度电流探头（如INA219）或功耗分析仪，记录推理期间的平均电流和峰值电流，计算能量消耗（mJ/次推理）。
- 实时性验证：构造最坏输入模式（如连续高幅值振动），验证WCET是否满足截止时间。使用RTOS时需考虑任务调度开销。
| 指标 | 测量工具 | 关键统计量 | 振动检测典型目标 |
|---|---|---|---|
| 延迟 | DWT->CYCCNT、示波器 | 均值、P95、P99、最大值 | 均值<20ms，P99<30ms |
| 吞吐量 | 循环计时、逻辑分析仪 | FPS、样本/秒 | >采样率/窗口大小 |
| 实时性 | RTOS跟踪、WCET分析 | WCET、抖动、错过率 | 错过率=0（硬实时） |
| 功耗 | INA219、Joulescope | 平均功耗、峰值功耗、mJ/次 | 电池寿命>6个月 |
案例拆解：工业风机轴承故障监测系统
背景与约束：某工厂部署无线振动传感器节点，使用STM32L4系列MCU（80MHz Cortex-M4），采集加速度计数据（采样率4kHz，每次推理窗口256点，即64ms数据）。要求：电池供电（2节AA电池，约3000mAh），目标工作寿命≥6个月；检测到轴承故障后需在100ms内发出报警（硬实时）。
初始现象：初版模型使用MobileNetV1（量化后INT8），单次推理延迟为85ms，端到端延迟（含采集和预处理）为160ms，超过100ms截止时间。实测平均功耗为45mW，电池寿命仅约2.8个月，不满足要求。
分析过程：通过性能剖析发现，85ms推理延迟中，卷积层占70%，全连接层占15%，激活函数占10%，其余为内存拷贝。进一步分析发现，模型输入为256×1的一维信号，但MobileNetV1是为图像设计的，存在大量冗余计算。功耗方面，MCU在推理期间运行于80MHz全速，平均电流12mA，其中计算占60%，内存访问占30%，外设占10%。
优化措施：
- 更换模型为TCN（时间卷积网络）轻量版，参数量减少80%，推理延迟降至28ms。
- 将MCU频率降至40MHz（延迟增至35ms，仍满足要求），功耗降至18mW。
- 使用DMA双缓冲采集数据，消除数据拷贝延迟，端到端延迟降至45ms。
- 启用深度睡眠模式，在两次推理间隔（64ms窗口+35ms推理=99ms周期）中，空闲65ms进入睡眠，平均功耗降至6mW。
结果对比：优化后延迟35ms（满足100ms截止时间），吞吐量约10 FPS（满足4kHz采样率需求），平均功耗6mW，电池寿命计算为3000mAh×1.5V / 6mW ≈ 750小时 ≈ 31天，仍不满足6个月目标。进一步优化：将采样率降至2kHz（窗口128点），推理延迟降至18ms，周期缩短至82ms，睡眠时间占比提升，平均功耗降至3.2mW，电池寿命约58天。最终通过增加太阳能辅助供电（小型光伏板）实现长期运行。
复盘经验：延迟优化不能只看模型计算，要全链路分析；功耗优化中，睡眠占比往往比单次推理功耗更重要；实时性约束需要预留30%以上的余量以应对温度变化和电池电压下降。
性能评估方法：建立科学的测试基准
科学的性能评估需要建立可重复、可对比的测试基准。建议采用以下方法：
- 标准数据集：使用公开的振动数据集（如CWRU轴承数据集）或自采标准信号，确保不同模型对比时输入一致。
- 多场景测试：覆盖正常工况、轻微故障、严重故障等不同振动强度，测试模型在不同输入分布下的延迟稳定性。
- 温度与电压扫描：MCU在低温或低电压下频率会下降，需在-20°C~60°C和3.0V~3.6V范围内测试延迟变化。
- 长时间稳定性：连续运行24小时以上，监测延迟漂移和内存泄漏导致的性能退化。
- 对比基线：始终保留一个未优化的基线模型，用于量化每次优化的收益。
总结与决策框架
振动检测TinyML模型的性能优化是一个多目标权衡过程。决策时建议按以下优先级排序：实时性（硬约束）→ 功耗（能量预算）→ 吞吐量（采样率匹配）→ 延迟（优化空间）。首先确保WCET满足截止时间，然后在能量预算内最大化吞吐量，最后通过模型压缩、量化、频率调节等手段优化延迟。记住：没有绝对最优的模型，只有最适合特定硬件和场景的配置。每次优化都应量化收益和代价，用数据驱动决策。