3、评估指标：从混淆矩阵推导准确率、精确率、召回率、F1分数，并解释各指标在TinyML场景下的适用性
混淆矩阵是分类模型性能评估的基石，它不仅仅是一个四象限的计数表，更是连接原始预测结果与业务决策之间的桥梁。在TinyML场景下，由于模型部署在资源受限的微控制器（MCU）上，且往往服务于实时、低功耗的物联网应用，评估指标的选择直接关系到模型能否在实际物理环境中稳定运行。本章将系统地从混淆矩阵推导出四个核心指标——准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数，并深入剖析它们在TinyML特有约束下的适用性与取舍逻辑。
3.1 核心原理：从四格表到四个关键视角
混淆矩阵将模型的预测结果与实际标签进行交叉统计，形成四个基本单元：真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）。这四个数字看似简单，却蕴含了模型在不同错误方向上的行为特征。准确率回答的是“整体上你对了多少”，精确率回答的是“你说是正类的那些里有多少是真对的”，召回率回答的是“真正的正类里你找回了多少”，而F1分数则是精确率与召回率的调和平均，用于在两者之间寻找平衡点。
在TinyML环境中，这四个指标并非同等重要。由于微控制器的Flash和RAM通常以KB为单位计量，模型参数量被极度压缩，导致模型的表达能力有限，往往会在精确率和召回率之间出现此消彼长的“跷跷板效应”。例如，一个用于振动信号异常检测的模型，如果过于保守（高精确率），可能会漏掉大量真实故障；如果过于敏感（高召回率），则可能因环境噪声产生大量误报，导致维护人员疲于奔命。因此，理解每个指标的数学定义及其在物理世界中的含义，是TinyML模型调优的第一步。
3.2 判断方法：四指标的计算流程与阈值影响
在TinyML工作流中，评估指标的计算通常发生在模型量化（Quantization）和部署之后。由于8位整数量化会引入精度损失，部署后的混淆矩阵往往与训练时的浮点模型存在差异。因此，正确的操作流程是：先使用验证集在PC端计算浮点模型的混淆矩阵，再使用相同的验证集在开发板上运行量化模型，重新计算混淆矩阵，对比两者差异。这一步骤能帮助开发者识别量化带来的性能退化是否在可接受范围内。
具体计算时，需要根据任务定义“正类”。例如，在关键词唤醒（KWS）任务中，“正类”通常是唤醒词（如“Hey Snips”），而“负类”则是其他语音或静音。假设验证集包含1000个样本，其中实际唤醒词出现100次，模型预测唤醒词120次，其中80次预测正确（TP=80），40次是误报（FP=40），实际唤醒词中有20次未被检测到（FN=20），其余860次正确预测为非唤醒词（TN=860）。则：
- 准确率 = (80+860) / 1000 = 94%
- 精确率 = 80 / (80+40) = 66.7%
- 召回率 = 80 / (80+20) = 80%
- F1分数 = 2 × (0.667 × 0.8) / (0.667 + 0.8) ≈ 0.727
值得注意的是，准确率94%看似很高，但在唤醒词场景中，由于负样本占比高达90%，即使模型永远预测“非唤醒词”，准确率也能达到90%。因此，准确率在类别不平衡时具有强烈的误导性，必须结合精确率和召回率综合判断。
3.3 案例拆解：工业电机振动异常检测的指标取舍
我们以一个实际的工业电机预测性维护项目为例。设备为一台额定功率5.5kW的三相异步电机，转速1450rpm，通过加速度计以2kHz采样率采集振动数据。TinyML模型部署在STM32L4系列MCU上，Flash占用48KB，RAM占用12KB，目标是在电机轴承出现早期磨损时发出预警。
初始现象与目标：模型在训练集上F1分数达到0.92，但部署到现场后，运维人员反馈误报频繁，每周约发生15次误报警，而实际故障仅发生2次。这导致运维团队对报警系统失去信任。
关键数据与诊断过程：我们收集了部署后一周的日志，构建混淆矩阵如下：实际故障样本10个（其中8个被正确识别，2个漏报），实际正常样本5000个（其中4985个正确识别，15个误报）。由此计算：精确率 = 8/(8+15) = 34.8%，召回率 = 8/10 = 80%。问题清晰可见：模型过于敏感，虽然抓住了所有故障（高召回率），但产生了大量误报（低精确率）。
分析与调整：进一步分析发现，误报多发生在电机启动阶段和负载突变时，这些时刻的振动频谱与轴承故障特征存在部分重叠。我们采取了以下步骤：
- 在数据预处理阶段增加高通滤波器，滤除低于10Hz的工频干扰。
- 将决策阈值从0.5提升至0.7，使模型只有在置信度较高时才触发报警。
- 引入“连续N次触发”机制，要求模型在连续3个窗口（每个窗口256个采样点）内都判定为故障才报警。
结果对比：调整后，重新计算混淆矩阵：精确率提升至72%，召回率下降至70%，F1分数从调整前的0.48提升至0.71。虽然漏报增加了1次，但误报从15次降至3次，运维人员重新建立了对系统的信任。
风险与代价：阈值提升和连续触发机制引入了约2秒的报警延迟，对于高速旋转设备，这可能意味着需要更早的预警余量。因此，在实际部署中，我们为不同转速段设置了不同的阈值参数。
3.4 常见误区与总结复盘
在TinyML模型评估中，最常见的误区有三个。第一，过度依赖准确率，尤其是在传感器数据分类任务中，如果各类别样本数量不均衡，准确率会虚高。第二，忽略量化对指标的影响，浮点模型的F1分数为0.9，但量化后可能降至0.7，如果不进行部署后验证，问题会被掩盖。第三，混淆“正类”的定义，在异常检测中，正类应该是“异常”而非“正常”，如果定义反了，精确率和召回率的含义会完全颠倒。
为了帮助开发者快速选择合适的主导指标，下表总结了不同TinyML应用场景下的推荐策略：
| 应用场景 | 类别分布特征 | 主导指标 | 次要指标 | 原因说明 |
|---|---|---|---|---|
| 关键词唤醒 | 极度不平衡（唤醒词占比<5%） | 召回率 | 误报率（FP/小时） | 漏报导致设备无响应，用户体验极差 |
| 工业异常检测 | 不平衡（异常占比1%-10%） | F1分数 | 精确率 | 需要平衡停机成本与漏检风险 |
| 农业土壤分类 | 相对均衡（各类别20%-30%） | 准确率 | 宏平均F1 | 各类别重要性相当，准确率可直观反映整体性能 |
| 可穿戴跌倒检测 | 不平衡（跌倒事件极少） | 召回率 | 精确率 | 漏报可能导致严重后果，优先保证不漏报 |
总结而言，混淆矩阵是TinyML模型评估的“显微镜”，而准确率、精确率、召回率和F1分数则是从不同角度观察这台显微镜的“目镜”。在资源受限的部署环境下，开发者必须根据物理世界的代价函数来选择主导指标，并通过调整决策阈值、优化后处理逻辑来微调模型行为。记住，没有最优的指标，只有最适合当前应用场景的指标组合。在下一阶段的模型迭代中，建议将混淆矩阵的四个象限数值作为日志输出的一部分，通过串口或BLE上传至上位机，以便持续监控模型在现场环境中的真实表现。