3、基础知识：精确率（Precision）与召回率（Recall）的定义、直观解释、计算公式及两者之间的权衡（trade-off）
在TinyML模型评估中，准确率（Accuracy）是最直观的指标，但在许多实际场景下它却具有强烈的误导性。例如，在一个设备状态监测系统中，若故障发生的概率仅为1%，一个“永远预测正常”的模型也能达到99%的准确率，但这显然不是我们想要的模型。因此，我们需要引入更精细的评估维度：精确率（Precision）与召回率（Recall）。这两个指标分别从“预测结果的可靠性”和“真实事件的覆盖程度”两个角度刻画模型性能，是理解混淆矩阵、绘制PR曲线以及进行业务成本分析的基础。
上图展示了精确率与召回率在混淆矩阵中的位置、计算公式以及它们之间的内在张力。接下来，我们将深入拆解这两个指标的定义、直观含义、计算方式，并重点讨论在TinyML场景下如何权衡它们与业务成本的关系。
3.1 核心原理：从混淆矩阵到两个维度的“正确性”
任何二分类模型的预测结果都可以归入一个2×2的混淆矩阵（Confusion Matrix）。在TinyML场景中，我们通常将关注的事件定义为“正类”（Positive），例如：设备故障、异常入侵、关键词唤醒、物体检测到目标等。混淆矩阵的四个格子分别是：
- TP（True Positive）：实际为正类，模型也预测为正类。例如，确实发生了故障，模型正确报警。
- FN（False Negative）：实际为正类，但模型预测为负类。例如，发生了故障，但模型漏报了——这是最危险的错误。
- FP（False Positive）：实际为负类，但模型预测为正类。例如，设备正常，但模型误报警——这会消耗维护人员的时间和信任。
- TN（True Negative）：实际为负类，模型也预测为负类。例如，设备正常，模型也判定正常。
基于这四个基本量，精确率（Precision）和召回率（Recall）分别回答了以下两个关键问题：
精确率（Precision）：在所有被模型预测为“正类”的样本中，真正是“正类”的比例。它衡量的是模型“报出来的事”有多可靠。
召回率（Recall）：在所有实际为“正类”的样本中，模型成功预测出“正类”的比例。它衡量的是模型“有没有漏掉真正的事”。
计算公式如下：
精确率 P = TP / (TP + FP)
召回率 R = TP / (TP + FN)直观理解：精确率是“宁缺毋滥”的指标，它惩罚误报；召回率是“宁可错杀一千，不可放过一个”的指标，它惩罚漏报。在TinyML中，由于模型通常部署在资源受限的MCU上，模型输出的是一个概率分数（例如0到1之间的置信度），我们需要设定一个阈值（Threshold）来决定最终输出为正类还是负类。这个阈值的选取直接决定了TP、FP、FN的数量，从而影响P和R的值。
3.2 判断方法与操作流程：如何计算并选择合适指标
在实际的TinyML项目开发中，计算精确率和召回率并不是简单地套公式，而是需要遵循一套完整的评估流程。以下是标准的操作步骤：
- 构建测试集：测试集必须独立于训练集和验证集，且要尽可能模拟真实部署环境中的数据分布。对于TinyML，尤其要包含在目标设备上采集的、经过量化和噪声干扰后的真实信号。
- 获取预测概率：将测试集输入模型，得到每个样本属于正类的概率分数（例如0~1）。
- 设定阈值：默认阈值通常为0.5，但实际中需要根据业务需求调整。例如，在关键词唤醒中，为了减少误唤醒，阈值可能设为0.7；在故障检测中，为了不漏报，阈值可能设为0.3。
- 生成混淆矩阵：根据阈值将概率转化为类别标签，统计TP、FP、FN、TN的数量。
- 计算P和R：代入公式计算精确率和召回率。
- 绘制PR曲线：通过遍历多个阈值（从0到1），计算每一组(P, R)，绘制出PR曲线。曲线下的面积（AP）可以综合反映模型性能。
下表展示了不同阈值设定对P和R的影响，以及它们在不同业务场景下的适用性：
| 阈值设定 | 精确率趋势 | 召回率趋势 | 典型TinyML场景 |
|---|---|---|---|
| 高阈值（如0.8） | 升高（误报少） | 降低（漏报多） | 智能门锁人脸识别（避免误开锁） |
| 中阈值（如0.5） | 平衡 | 平衡 | 一般传感器状态监测 |
| 低阈值（如0.2） | 降低（误报多） | 升高（漏报少） | 工业设备故障预警（避免停机损失） |
经验提醒：在TinyML中，由于模型经过量化（如INT8），输出概率的分布可能会发生偏移。建议在目标硬件上重新校准阈值，而不是直接使用训练时的0.5默认值。
3.3 案例拆解：TinyML电机故障监测中的P与R权衡
为了更具体地说明P和R的权衡及其业务影响，我们来看一个实际的TinyML案例：基于振动信号的电机轴承故障监测。
背景与约束：某工厂部署了100个基于Cortex-M4F MCU的振动传感器节点，每个节点运行一个TinyML模型，用于实时检测轴承故障。模型输入为1秒的加速度计数据（采样率2kHz），输出为“故障”或“正常”的概率。由于MCU的Flash和RAM有限，模型被量化为INT8，推理时间约15ms，功耗控制在5mW以内。
初始现象与目标：初始模型在实验室测试集上准确率高达98%，但部署到现场后，维护人员频繁抱怨误报警（FP太多），导致他们逐渐不信任系统。同时，一次真实的轴承故障因为模型未报警（FN）而导致了产线停机2小时，损失约10万元。项目目标调整为：在保证不漏报（高召回率）的前提下，尽量减少误报（提高精确率）。
关键数据与分析：我们收集了现场一周的数据，共10000个样本，其中真实故障样本为50个（0.5%的极不平衡数据集）。使用默认阈值0.5时，混淆矩阵如下：
- TP = 40（正确报警40次）
- FN = 10（漏报10次，其中1次导致了严重停机）
- FP = 200（误报200次，平均每天约28次，严重干扰维护工作）
- TN = 9750
计算得到：精确率 P = 40 / (40+200) = 16.7%，召回率 R = 40 / (40+10) = 80%。虽然召回率尚可，但精确率极低，导致维护人员每天要处理大量无效报警。
实际操作步骤：我们决定调整阈值并重新评估。通过分析模型输出的概率分布，发现故障样本的得分普遍在0.6~0.9之间，而正常样本的得分大多低于0.3，但存在少量噪声样本得分在0.4~0.6之间。于是我们将阈值从0.5提升到0.7，并重新统计：
- TP = 38（减少了2个低置信度的正确报警）
- FN = 12（漏报增加2个，但均为早期轻微故障，未造成停机）
- FP = 30（误报大幅减少）
- TN = 9920
此时，精确率 P = 38 / (38+30) = 55.9%，召回率 R = 38 / (38+12) = 76%。虽然召回率略有下降，但精确率提升了3倍以上，维护人员的工作负担显著减轻。
结果对比与复盘：通过调整阈值，我们找到了一个更符合业务需求的平衡点。但我们也意识到，单纯调整阈值无法根治问题。进一步分析发现，误报主要来源于设备启停瞬间的振动冲击。于是我们在预处理阶段增加了一个简单的时域滤波，并在模型输出端加入了一个“连续3次超过阈值才报警”的去抖逻辑。最终，在保持召回率75%的同时，将精确率提升到了82%。
风险提示：在本案例中，提升阈值虽然减少了误报，但也增加了漏报风险。对于可能导致重大安全事故的场景（如无人机螺旋桨停转），漏报的代价远高于误报，此时应优先保证召回率，甚至接受较低的精确率。
3.4 常见误区与总结复盘
在理解和应用精确率与召回率时，TinyML开发者常陷入以下几个误区：
- 误区一：只看准确率。在类别不平衡的数据集（如故障样本仅占1%）中，准确率会虚高，掩盖模型在少数类上的糟糕表现。必须结合P和R一起看。
- 误区二：认为P和R可以同时无限提高。在模型能力固定的情况下，P和R是一对矛盾体。提升阈值会提高P但降低R；降低阈值则相反。唯一的突破方法是改进模型结构、增加特征或优化训练数据。
- 误区三：忽略业务成本。P和R的权衡本质上是FP和FN代价的权衡。在TinyML中，一次误报可能只是推送一条通知，但一次漏报可能导致设备损坏。必须将FP和FN的经济损失量化，才能科学地选择阈值。
- 误区四：在量化后不重新评估。INT8量化会引入精度损失，导致模型输出的概率分布发生变化。原本在FP32模型上计算好的阈值，在量化模型上可能不再适用。
总结复盘：精确率和召回率是TinyML模型评估中不可或缺的“双翼”。精确率告诉我们“模型说的话可信度有多高”，召回率告诉我们“模型有没有漏掉关键事件”。在实际部署中，我们不应机械地追求某一个指标的最大化，而应基于业务成本（误报代价 vs 漏报代价）来设定阈值。建议在项目启动时，就与业务方共同定义FP和FN的代价系数，并以此为目标函数来搜索最优阈值。同时，务必在目标硬件（MCU）上进行最终的指标验证，因为量化、电源噪声、传感器差异都会影响模型的输出分布。