4、模型指标基础：准确率、精确率、召回率、F1分数、混淆矩阵、AUC-ROC等分类指标的定义与适用场景
TinyML 模型评估与云端 AI 模型评估存在本质差异：模型部署在内存以 KB 计、算力以 MHz 计的微控制器上，且往往面向单一或极少数特定任务。因此，评估指标不仅要回答"模型预测得准不准"，还要回答"在资源受限条件下，模型是否仍然可靠、可用"。本章围绕分类任务中最核心的指标——准确率、精确率、召回率、F1 分数、混淆矩阵、AUC-ROC——展开，厘清其数学定义、适用边界以及在 TinyML 场景下的特殊考量。理解这些指标是编写一份合格 TinyML 评估报告的前提，也是后续章节中资源指标与部署风险分析的基础。
上图展示了 TinyML 分类模型评估中核心指标之间的逻辑关系。混淆矩阵是所有衍生指标的基础，准确率、精确率、召回率、F1 分数均由混淆矩阵中的 TP、FP、FN、TN 四个基本量计算得出；AUC-ROC 则从排序能力的角度评估模型在不同阈值下的综合表现。在 TinyML 场景中，由于模型通常部署在电池供电的嵌入式设备上，且往往只针对特定唤醒词、异常声音或传感器模式进行分类，指标的选择必须与具体业务目标深度绑定。
4.1 核心原理：从混淆矩阵到衍生指标
混淆矩阵（Confusion Matrix）是分类模型评估的基石。对于二分类问题，矩阵为 2×2 结构，四个单元格分别代表：真正例（TP，实际为正且预测为正）、假正例（FP，实际为负但预测为正，即误报）、假负例（FN，实际为正但预测为负，即漏报）、真负例（TN，实际为负且预测为负）。所有其他分类指标都可以从这四个值推导出来。
准确率（Accuracy）是最直观的指标，定义为正确预测样本数占总样本数的比例：Accuracy = (TP + TN) / (TP + FP + FN + TN)。在 TinyML 场景中，准确率适合作为总体性能的快速参考，但在类别不平衡时会产生严重误导。例如，一个异常检测模型，正常样本占 95%，异常样本仅占 5%，模型即使将所有样本都预测为正常，准确率也能达到 95%，但这个模型毫无实用价值。
精确率（Precision）衡量模型预测为正类的样本中有多少是真正的正类：Precision = TP / (TP + FP)。它关注的是"误报"的代价。在 TinyML 的语音唤醒场景中，精确率低意味着设备频繁被无关声音唤醒，导致电池电量快速消耗。召回率（Recall）衡量实际为正类的样本中有多少被正确识别：Recall = TP / (TP + FN)。它关注的是"漏报"的代价。在工业异常检测中，召回率低意味着设备未能及时发现故障，可能导致产线停机或安全事故。
F1 分数是精确率和召回率的调和平均数：F1 = 2 × (Precision × Recall) / (Precision + Recall)。调和平均对较小值更敏感，因此 F1 分数只有在精确率和召回率都较高时才会接近 1。在 TinyML 评估报告中，F1 分数通常作为类别不平衡场景下的综合性能指标。AUC-ROC（Area Under the Receiver Operating Characteristic Curve）则从另一个维度评估模型：它绘制不同阈值下真正例率（TPR = Recall）与假正例率（FPR = FP / (FP + TN)）的关系曲线，AUC 值表示随机正样本排在随机负样本之前的概率。AUC 的优势在于它不依赖具体阈值，能够评估模型整体的排序能力。
| 指标 | 公式 | 关注点 | TinyML 典型场景 |
|---|---|---|---|
| 准确率 | (TP+TN)/总数 | 整体正确率 | 类别均衡的简单分类 |
| 精确率 | TP/(TP+FP) | 误报代价 | 语音唤醒、异常报警 |
| 召回率 | TP/(TP+FN) | 漏报代价 | 故障检测、医疗筛查 |
| F1 分数 | 2PR/(P+R) | 精确率与召回率的平衡 | 类别不平衡的综合评估 |
| AUC-ROC | ROC 曲线下面积 | 阈值无关的排序能力 | 模型选型、阈值调优 |
4.2 判断方法与操作流程：如何选择和应用指标
在 TinyML 评估报告编写中，指标选择不是随意的，而应遵循一套系统化的判断流程。首先，需要明确业务目标：模型部署后，误报和漏报哪个代价更高？如果误报代价高（如频繁唤醒设备消耗电量），应优先优化精确率；如果漏报代价高（如漏检故障导致安全事故），应优先优化召回率。其次，需要分析数据分布：统计训练集和验证集中各类别的样本数量，计算不平衡比例。当正负样本比例超过 1:10 时，准确率就不再是可靠的评估指标。
操作流程建议如下：第一步，构建混淆矩阵，记录 TP、FP、FN、TN 的具体数值，这是所有后续计算的基础。第二步，根据业务场景计算核心指标——如果类别均衡，计算准确率；如果类别不平衡，计算精确率、召回率和 F1 分数。第三步，绘制 ROC 曲线并计算 AUC 值，评估模型在不同阈值下的整体表现。第四步，根据 AUC 曲线选择最佳阈值——通常选择 ROC 曲线上距离左上角（0,1）最近的点，或根据业务代价函数确定最优阈值。第五步，在 TinyML 设备上进行实际推理验证，因为量化、内存对齐等部署优化可能会改变模型的输出分布，导致指标偏移。
4.3 案例拆解：关键词唤醒模型的指标评估
我们以一个实际的 TinyML 关键词唤醒（KWS）模型为例，说明指标选择与评估的完整过程。项目背景：在电池供电的智能门锁上部署语音唤醒模型，需要识别"你好小锁"这个唤醒词。硬件约束：Cortex-M4F 内核 MCU，主频 80MHz，内存 256KB，Flash 1MB。业务约束：误唤醒（FP）会导致设备从睡眠状态唤醒，增加功耗；漏唤醒（FN）会导致用户重复呼叫，影响体验。经过权衡，产品团队确定误唤醒的代价是漏唤醒的 3 倍，因为频繁误唤醒会严重缩短电池寿命。
初始模型在测试集上的混淆矩阵如下：TP=980，FP=120，FN=20，TN=1880。计算得到：准确率 = (980+1880)/3000 = 95.3%，精确率 = 980/(980+120) = 89.1%，召回率 = 980/(980+20) = 98.0%，F1 = 2×0.891×0.98/(0.891+0.98) = 93.3%。从准确率看，模型表现不错；但精确率偏低，意味着每 10 次唤醒中有约 1 次是误唤醒。按照业务代价计算，总代价 = 120×3 + 20×1 = 380 个代价单位。
分析判断：精确率不足是主要矛盾。团队决定调整决策阈值，将唤醒判定阈值从 0.5 提高到 0.7。调整后，混淆矩阵变为：TP=940，FP=40，FN=60，TN=1960。新指标：精确率 = 940/(940+40) = 95.9%，召回率 = 940/(940+60) = 94.0%，F1 = 94.9%。总代价 = 40×3 + 60×1 = 180 个代价单位，比调整前降低了 52.6%。虽然召回率有所下降，但业务总代价显著降低，且 F1 分数从 93.3% 提升到 94.9%。
进一步，团队绘制了 ROC 曲线并计算 AUC = 0.97，说明模型本身具有很好的区分能力，问题在于阈值选择不当。通过代价敏感分析，团队找到了最优阈值 0.68，此时总代价最低。最终部署时，团队在固件中同时烧录了阈值参数和校准函数，并预留了通过 BLE 远程调整阈值的接口，以便在真实环境中根据用户反馈进行微调。
4.4 常见误区与总结复盘
在 TinyML 评估报告编写中，常见的误区包括：第一，只报告准确率而忽略其他指标。在类别不平衡的传感器数据场景中，准确率具有极大欺骗性。第二，混淆精确率和召回率的业务含义。在评估报告中，必须明确说明业务侧对误报和漏报的代价定义，否则指标数值无法指导决策。第三，忽视量化对指标的影响。TinyML 模型通常经过 8 位量化，量化误差可能导致 AUC 下降，必须在报告中单独列出量化后的指标。第四，使用全局单一阈值处理多类别问题。对于多分类 TinyML 模型（如识别多种环境声音），每个类别应有独立的阈值，而不是使用统一的 argmax 决策。
总结复盘：模型指标是 TinyML 评估报告的核心内容，但指标本身不是目的，而是服务于部署决策的工具。在编写报告时，建议采用以下框架：先给出混淆矩阵原始数据，再计算核心指标，然后结合业务代价分析指标优劣，最后给出阈值优化建议和量化影响分析。AUC-ROC 作为阈值无关的指标，适合在模型选型阶段使用；而精确率、召回率、F1 分数则更适合在部署调优阶段使用。对于 TinyML 特有的资源约束，指标评估还应与内存占用、推理延迟、功耗等资源指标联动分析——例如，一个模型虽然 F1 分数很高，但如果需要 200KB 内存才能运行，而目标 MCU 只有 128KB 内存，则该模型不可部署，需要重新选择或压缩模型。