📚 课程目录第2章评估基础

评估基础：准确率、精确率、召回率、F1分数的定义与适用场景，以及为什么准确率在TinyML中可能具有误导性

在TinyML模型评估中，我们面对的核心问题不是“模型是否学会了”，而是“模型在真实物理世界中是否可靠”。与云端AI不同，TinyML模型部署在资源受限的MCU上，服务于唤醒词检测、异常振动识别、手势分类等实时任务。这些任务的数据分布往往高度不平衡——例如工业设备故障样本可能仅占全部数据的1%，而正常状态占99%。此时，如果仅用准确率（Accuracy）作为评估指标，模型可能什么都不学也能达到99%的“优秀”成绩，但这显然不是我们想要的结果。因此，理解准确率、精确率、召回率和F1分数的本质差异，是构建可信TinyML应用的第一步。

上图展示了TinyML评估中最核心的决策框架。混淆矩阵的四个象限（TP、FP、FN、TN）构成了所有评估指标的基础，而准确率、精确率、召回率和F1分数则是从不同角度对这四个象限进行加权组合。在TinyML场景中，我们往往需要根据任务特性（如误报代价、漏报代价、数据分布）来选择最合适的指标组合，而不是盲目追求高准确率。

核心原理：从混淆矩阵到评估指标

混淆矩阵（Confusion Matrix）是评估分类模型的基础工具。对于二分类问题，它记录四种预测结果：真正例（TP，实际为正且预测为正）、假正例（FP，实际为负但预测为正）、假负例（FN，实际为正但预测为负）、真负例（TN，实际为负且预测为负）。基于这四个值，我们可以推导出所有常用评估指标。

准确率（Accuracy）是最直观的指标，表示所有样本中预测正确的比例。其公式为：

Accuracy = (TP + TN) / (TP + FP + FN + TN)

精确率（Precision）关注的是“预测为正的样本中有多少是真正的正样本”，公式为：

Precision = TP / (TP + FP)

召回率（Recall）关注的是“真正的正样本中有多少被正确预测出来”，公式为：

Recall = TP / (TP + FN)

F1分数是精确率和召回率的调和平均，用于在两者之间取得平衡：

F1 = 2 × (Precision × Recall) / (Precision + Recall)

在TinyML中，这四个指标各有其适用场景。准确率适合类别分布均衡且误报与漏报代价相同的场景；精确率适合误报代价高的场景（如安全警报系统）；召回率适合漏报代价高的场景（如疾病检测、故障预警）；F1分数则适合需要同时兼顾精确率和召回率的场景。

判断方法：如何为TinyML任务选择合适的评估指标

选择评估指标不能凭直觉，而应基于任务特性和数据分布进行系统分析。以下是具体的判断流程：

分析数据分布：统计正负样本比例。如果正样本占比低于10%或高于90%，则属于类别不平衡场景，准确率将失去参考价值。
评估误报与漏报代价：在TinyML应用中，误报（FP）和漏报（FN）的代价往往不同。例如，在智能门锁的人脸识别中，误报（陌生人被识别为家人）的代价远高于漏报（家人未被识别）；而在工业设备故障检测中，漏报（故障未被发现）可能导致设备损坏，代价远高于误报。
确定核心指标：根据代价分析，选择最关键的指标。如果误报代价高，优先优化精确率；如果漏报代价高，优先优化召回率；如果两者都重要，使用F1分数。
辅助指标验证：在确定核心指标后，仍需关注其他指标作为辅助参考。例如，在优化召回率的同时，需要监控精确率是否下降到不可接受的水平。

经验提示：在TinyML项目启动阶段，建议同时计算准确率、精确率、召回率和F1分数，并记录在模型卡（Model Card）中。这样可以在后续调优时对比不同版本模型的综合表现，避免只关注单一指标而忽视其他维度的退化。

案例拆解：工业电机异常振动检测中的指标选择

我们以一个实际的TinyML项目为例，说明指标选择的重要性。某工厂需要在电机上部署振动传感器，通过TinyML模型实时检测异常振动，以便提前预警轴承故障。

背景与约束：电机正常运转时振动幅度小且规律，异常时会出现特定频率的冲击。传感器以1kHz采样，MCU为Cortex-M4，内存仅64KB。训练数据来自10台电机，其中正常样本9800条，异常样本200条（占比约2%）。

初始现象：第一版模型在测试集上准确率达到98.5%，看似表现优秀。但进一步分析发现，模型将所有样本都预测为“正常”，因为异常样本仅占2%，即使全部预测为正常，准确率也有98%。这显然是一个无效模型。

关键数据与指标：我们重新计算混淆矩阵，发现TP=0，FP=0，FN=200，TN=9800。此时：

准确率 = (0+9800)/(0+0+200+9800) = 98%
精确率 = 0/(0+0) = 0%（无法计算，因为TP+FP=0）
召回率 = 0/(0+200) = 0%
F1 = 0

分析判断：准确率98%完全掩盖了模型“什么都没学”的事实。由于异常样本极少，模型只需预测“正常”就能获得高准确率。此时，召回率0%和F1=0才真实反映了模型的无效性。

实际操作步骤：我们改用F1分数作为主要优化目标，并引入类别权重（将异常样本的损失权重设为正常样本的50倍）。同时，采用阈值调整策略——将模型输出的异常概率阈值从默认的0.5降低到0.3，以增加对异常样本的敏感度。经过三轮迭代，模型在测试集上的表现变为：TP=180，FP=120，FN=20，TN=9680。此时：

精确率 = 180/(180+120) = 60%
召回率 = 180/(180+20) = 90%
F1 = 2×0.6×0.9/(0.6+0.9) = 72%

结果对比：虽然准确率从98%下降到96.8%，但召回率从0%提升到90%，F1从0提升到72%。在实际部署中，这意味着90%的轴承故障能被提前发现，而误报率（FP/总负样本）仅为1.2%，在可接受范围内。

风险与代价：降低阈值虽然提高了召回率，但也增加了误报次数。在工厂环境中，每次误报都会触发停机检查，造成约30分钟的生产损失。因此，我们与运维团队协商后，将阈值调整为0.35，最终达到精确率72%、召回率85%、F1=78%的平衡状态。

复盘经验：这个案例充分说明，在类别不平衡的TinyML场景中，准确率是极具误导性的指标。正确的做法是：首先通过混淆矩阵分析模型的实际行为，然后根据业务代价选择核心指标（本例为召回率），最后通过阈值调整在精确率和召回率之间取得平衡。

常见误区与总结复盘

在TinyML模型评估中，以下误区需要特别注意：

风险警示：不要仅凭准确率判断模型好坏。在类别不平衡场景下，准确率可能虚高。例如，在唤醒词检测中，如果“非唤醒词”占99.9%，模型即使永远不触发也能达到99.9%的准确率，但这毫无意义。务必同时查看混淆矩阵和F1分数。

误区一：忽略类别分布。在TinyML中，数据往往来自真实传感器，正负样本比例天然不平衡。评估前必须先统计类别分布，再决定使用何种指标。
误区二：混淆精确率与召回率。精确率回答“预测为正的样本中有多少是对的”，召回率回答“真正的正样本中有多少被找出来了”。在TinyML中，两者往往不可兼得，需要根据业务代价取舍。
误区三：忽视阈值的影响。TinyML模型输出的通常是概率值，默认阈值0.5并不总是最优。通过调整阈值，可以在精确率和召回率之间灵活切换，这是TinyML调优的重要手段。
误区四：在资源受限时放弃评估。有些开发者认为MCU上无法运行复杂的评估逻辑，于是只在PC端评估。实际上，TinyML模型在量化、剪枝后，其行为可能发生变化，必须在目标硬件上进行评估。

总结复盘：评估指标的选择本质上是业务决策的数学表达。在TinyML中，由于数据不平衡、资源受限、实时性要求高等特点，准确率往往不是最佳指标。正确的评估流程是：先构建混淆矩阵，再根据业务代价选择核心指标（精确率、召回率或F1），最后通过阈值调整优化指标。同时，要警惕“准确率陷阱”——当准确率很高但业务效果不佳时，应深入分析混淆矩阵，找出模型真正的短板。

在实际项目中，建议建立一套标准化的评估流程：每次模型迭代后，记录准确率、精确率、召回率、F1分数以及混淆矩阵，并标注数据分布和阈值设置。这样不仅便于团队协作，也能在模型部署后快速定位问题。记住，评估指标不是数字游戏，而是连接模型性能与业务价值的桥梁。