4、分类模型评估指标：ROC曲线、AUC、PR曲线、Kappa系数、Matthews相关系数，以及它们在嵌入式场景下的适用性
在TFLite Micro的模型部署流程中，模型训练完成后的评估环节往往决定了一个模型能否真正进入嵌入式设备。许多开发者习惯只关注准确率（Accuracy），但在类别不平衡的传感器数据（如异常检测、关键词唤醒、跌倒识别）中，准确率会严重失真。本章将系统讲解ROC曲线、AUC、PR曲线、Kappa系数和Matthews相关系数（MCC）这五类评估指标的核心原理、计算方法、适用场景，并重点分析它们在嵌入式环境下的特殊约束与选择策略。
4.1 核心原理：从混淆矩阵到多维度评估
所有分类评估指标都源于混淆矩阵（Confusion Matrix）中的四个基本计数：真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）。在TFLite Micro场景中，这四个值通常来自模型在验证集上的推理结果统计。准确率虽然直观，但在嵌入式常见的异常检测（如电机振动异常、设备跌落）中，正常样本可能占99%，异常样本仅占1%，此时模型即使全部预测为正常也能获得99%的准确率，但毫无实用价值。
ROC曲线（Receiver Operating Characteristic）以假正率（FPR）为横轴、真正率（TPR）为纵轴，通过遍历所有可能的分类阈值绘制而成。AUC（Area Under Curve）则是ROC曲线下的面积，取值范围[0.5, 1]，0.5表示随机猜测，1表示完美分类。PR曲线（Precision-Recall Curve）以召回率（Recall）为横轴、精确率（Precision）为纵轴，在正类样本稀少时比ROC曲线更能反映模型性能。Kappa系数衡量预测结果与真实标签的一致性，排除了随机一致性的影响。Matthews相关系数（MCC）本质上是二分类版本的皮尔逊相关系数，取值范围[-1, 1]，对类别不平衡不敏感。
4.2 判断方法与操作流程：如何选择与计算
在嵌入式模型评估中，建议按以下流程操作：
- 统计混淆矩阵：在验证集上运行TFLite Micro推理，记录TP、FP、TN、FN。注意嵌入式环境下的量化模型可能与浮点模型产生微小差异，需使用实际部署后的模型进行统计。
- 计算基础指标：TPR = TP/(TP+FN)，FPR = FP/(FP+TN)，Precision = TP/(TP+FP)，Recall = TPR。
- 绘制曲线：若需ROC或PR曲线，需在多个阈值下重复推理。在嵌入式开发中，通常先在PC端用Python完成曲线绘制，再将选定的最优阈值固化到设备端。
- 计算单值指标：AUC、Kappa、MCC均为单值，便于在资源受限的设备上直接比较。
| 指标 | 计算公式 | 取值范围 | 对不平衡敏感度 | 嵌入式适用性 |
|---|---|---|---|---|
| 准确率 | (TP+TN)/N | [0, 1] | 高 | 低（易误导） |
| AUC | ROC曲线下面积 | [0.5, 1] | 中 | 中（需存储曲线） |
| PR曲线 | P-R曲线下面积 | [0, 1] | 低 | 中（正类稀少时优） |
| Kappa | (Po-Pe)/(1-Pe) | [-1, 1] | 低 | 高（单值） |
| MCC | (TP·TN-FP·FN)/√((TP+FP)(TP+FN)(TN+FP)(TN+FN)) | [-1, 1] | 极低 | 高（单值且稳健） |
4.3 案例拆解：工业设备异常检测的指标选择
某工厂部署了一套基于TFLite Micro的电机振动异常检测系统，运行在Cortex-M4F微控制器上，内存仅128KB。训练数据包含10,000个正常振动样本和200个异常样本，类别比例50:1。初始模型在验证集上准确率达98.7%，但实际产线测试中漏报率极高。
分析过程：工程师首先计算混淆矩阵，发现模型几乎将所有样本预测为正常。进一步计算MCC仅为0.12，Kappa系数为0.08，远低于可接受水平。绘制PR曲线后发现，在召回率达到0.6时，精确率已降至0.3，说明模型对异常模式辨识能力不足。而ROC曲线的AUC为0.91，看似良好，但这是因为负类样本占绝对多数，FPR的微小变化被稀释。
实际操作：工程师改用PR曲线下的面积（AP值）作为主要评估指标，并设定目标AP≥0.7。通过调整模型结构（增加一维卷积层）和阈值（从默认0.5降至0.3），最终AP提升至0.78，MCC提升至0.65。在设备端，仅需存储一个阈值参数和MCC计算所需的四个计数，内存开销小于1KB。
风险与代价：降低阈值虽然提升了召回率，但误报率从0.1%升至2.3%，导致维护人员需要处理更多虚假告警。最终通过增加时间序列滤波（连续3次触发才告警）来平衡。
复盘经验：在嵌入式场景中，不要单独依赖AUC或准确率。当正类样本占比低于10%时，优先使用PR曲线和MCC；当需要多分类评估时，Kappa系数能有效排除随机一致性。所有指标最终都要转化为设备端可存储的单值或极简参数。
4.4 常见误区与总结复盘
误区一：在类别不平衡时仍以准确率为核心指标。正确做法是至少同时报告MCC和PR曲线下面积。
误区二：忽略量化对指标的影响。TFLite Micro的8位量化模型与浮点模型的ROC曲线可能有显著差异，必须在量化后重新评估。
误区三：在多分类任务中直接使用二分类指标。对于多分类，应使用宏平均或微平均的PR曲线，或直接计算多分类版本的Kappa和MCC。
误区四：在设备端存储完整ROC曲线。嵌入式设备内存有限，应只在PC端绘制曲线，设备端仅保存最优阈值和最终评估单值。
经验建议：在TFLite Micro项目中，建议将评估流程分为两阶段——PC端离线评估（绘制曲线、计算所有指标）和设备端在线验证（仅计算MCC或Kappa）。这样既保证了评估的全面性，又满足了嵌入式环境的资源约束。
总结而言，ROC曲线和AUC适合类别相对平衡的场景，PR曲线在正类稀少时更可靠，Kappa系数适合多分类一致性评估，MCC则是二分类场景下最稳健的单值指标。在嵌入式部署中，应优先选择计算简单、存储需求低的单值指标，并始终基于量化后的模型进行最终评估。