2、基础知识：准确率（Accuracy）的定义、计算公式、适用场景及其在类别不平衡时的局限性

在TinyML模型评估体系中，准确率（Accuracy）是最直观、最常被提及的指标。它回答了一个看似简单的问题：“模型预测正确的比例是多少？”然而，在资源受限的嵌入式环境中，尤其是在传感器数据往往呈现高度类别不平衡的场景下，准确率可能成为一个极具误导性的指标。理解其定义、计算方式以及失效条件，是构建可靠TinyML应用的第一步。

2.1 核心原理：准确率的定义与计算本质

准确率衡量的是模型在所有预测中，预测正确的比例。在二分类问题中，其数学定义基于混淆矩阵（Confusion Matrix）的四个基本元素：真正例（True Positive, TP）、真负例（True Negative, TN）、假正例（False Positive, FP）和假负例（False Negative, FN）。

计算公式为：

Accuracy = (TP + TN) / (TP + TN + FP + FN)

从信息论角度看，准确率反映的是模型输出与真实标签之间的一致性程度。它隐含了一个重要假设：所有类别的预测错误代价相等。在TinyML场景中，这一假设往往不成立。例如，在工业电机故障检测中，将正常状态误判为故障（FP）可能只是触发一次不必要的停机检查，而将故障状态误判为正常（FN）则可能导致设备损坏甚至安全事故。

准确率的计算复杂度极低，仅需一次除法运算，非常适合在MCU（微控制器）上实时计算。但正是这种简洁性，使其在面对复杂现实数据时显得过于“天真”。

2.2 适用场景：准确率何时是可靠的评估指标？

准确率并非一无是处。在以下特定条件下，它可以作为快速、有效的初步评估工具：

在TinyML的模型压缩与量化过程中，准确率常被用作衡量量化前后模型性能损失的“温度计”。例如，将float32模型量化为int8后，如果准确率下降不超过1%，通常认为量化是可接受的。此时，由于测试集通常是均衡的公开数据集（如Google Speech Commands），准确率能够提供有意义的参考。

2.3 类别不平衡时的局限性：一个被掩盖的“99%”陷阱

在真实TinyML部署中，类别不平衡是常态而非例外。以关键词唤醒（KWS）系统为例，设备在99%的时间里处于静音或环境噪声状态，只有1%的时间包含唤醒词。假设我们训练一个模型，将所有输入都分类为“非唤醒词”，其准确率将达到99%。这个数字看起来非常漂亮，但模型实际上毫无用处——它永远无法唤醒设备。

这种“准确率悖论”的根源在于：准确率将少数类的所有错误都稀释在了多数类的正确预测中。当多数类占比超过90%时，模型即使完全忽略少数类，也能获得很高的准确率。更严重的是，在TinyML的异常检测场景中（如预测性维护），故障样本往往极其稀少（可能只有0.1%），此时准确率几乎完全由多数类（正常状态）决定，模型对故障的识别能力被完全掩盖。

我们通过一个具体案例来说明这种失效机制。假设一个可穿戴设备需要检测癫痫发作（正类），训练集中有10000个样本，其中9950个为正常（负类），50个为发作（正类）。模型A将所有样本都预测为正常，其混淆矩阵为：TP=0，FN=50，FP=0，TN=9950。计算得到Accuracy = (0+9950)/10000 = 99.5%。模型B经过精心设计，能够识别出40次发作，但会误报30次正常，其混淆矩阵为：TP=40，FN=10，FP=30，TN=9920。Accuracy = (40+9920)/10000 = 99.6%。

从准确率看，模型B（99.6%）仅比模型A（99.5%）略好，但两者的实际价值天差地别。模型A完全无法检测癫痫发作，对患者毫无保护作用；模型B虽然存在误报，但能挽救40次发作中的大部分。准确率在此处的误导性在于：它让一个完全失效的模型（A）看起来与一个基本可用的模型（B）几乎一样好。

2.4 判断方法：如何识别准确率是否“失真”？

在评估TinyML模型时，可以通过以下三步快速判断准确率是否具有参考价值：

1. 检查类别分布：统计训练集和测试集中各类别的样本比例。如果最大类别占比超过80%，则准确率很可能失真。
2. 计算基线准确率：所谓基线，是指将全部样本预测为多数类时得到的准确率。如果模型准确率仅比基线高几个百分点，说明模型并未学到有效特征。
3. 查看混淆矩阵中的少数类：重点关注少数类的Recall（召回率）。如果少数类的Recall接近0，即使整体准确率很高，模型也不可用。

以下是一个快速判断流程的伪代码示例，可用于TinyML设备上的日志分析：

def evaluate_model(y_true, y_pred):
    from collections import Counter
    # 步骤1：类别分布
    dist = Counter(y_true)
    majority_ratio = max(dist.values()) / len(y_true)
    if majority_ratio > 0.8:
        print("警告：类别严重不平衡，准确率可能失真")
    
    # 步骤2：基线准确率
    majority_class = dist.most_common(1)[0][0]
    baseline_acc = dist[majority_class] / len(y_true)
    model_acc = accuracy_score(y_true, y_pred)
    if model_acc - baseline_acc < 0.05:
        print("警告：模型准确率仅略高于基线，学习能力有限")
    
    # 步骤3：少数类召回率
    cm = confusion_matrix(y_true, y_pred)
    # 假设二分类，正类为少数类
    recall_pos = cm[1,1] / (cm[1,0] + cm[1,1]) if (cm[1,0]+cm[1,1])>0 else 0
    if recall_pos < 0.5:
        print("严重警告：少数类召回率过低，模型不可用")

2.5 案例拆解：TinyML关键词唤醒系统中的准确率陷阱

背景与约束：某智能家居团队开发了一款基于Cortex-M4F MCU的离线语音唤醒模块，需要在嘈杂环境中识别“小智小智”唤醒词。MCU主频80MHz，RAM仅64KB，Flash 256KB。团队收集了8小时真实家庭环境音频，其中唤醒词出现约200次，其余为电视声、谈话声、厨房噪声等。

初始现象：第一版模型在测试集上报告准确率98.7%，团队认为性能优异，准备量产。但实际试用时发现，用户连续呼喊“小智小智”多次，设备偶尔无响应，且电视播放时设备频繁误唤醒。

关键数据与诊断：进一步分析测试集发现，测试集包含5000个音频片段（每段1秒），其中唤醒词片段仅50个（1%），非唤醒词4950个（99%）。模型将所有片段都预测为非唤醒词，即可获得99%的准确率。实际混淆矩阵显示：TP=12，FN=38，FP=3，TN=4947。准确率 = (12+4947)/5000 = 99.18%，但唤醒词召回率（Recall）= 12/50 = 24%。这意味着用户每喊4次唤醒词，有3次会被忽略。

分析判断：准确率99.18%掩盖了模型对唤醒词极低的识别能力。FP=3虽然不多，但在实际家庭环境中，由于噪声分布更复杂，误唤醒率可能成倍增加。团队意识到，仅靠准确率评估完全无法发现模型的核心缺陷。

实际操作与改进：团队改用F1分数和召回率作为主要优化目标，并重新采集数据，将唤醒词片段扩充至500个，同时增加不同家庭成员的声音样本。经过3轮迭代，最终模型达到：唤醒词召回率92%，误唤醒率（每24小时）≤2次，准确率降至97.5%（因为模型开始“敢于”预测唤醒词，产生了一些FP）。虽然准确率下降了1.7个百分点，但实际用户体验大幅提升。

结果对比与复盘：如果当初以准确率98.7%作为量产标准，产品将因唤醒率过低而遭到大量退货。通过这次教训，团队建立了新的评估规范：对于任何二分类TinyML模型，必须同时报告准确率、召回率、精确率和F1分数，且以少数类召回率作为核心KPI。同时，在模型压缩（量化）过程中，不仅要监控整体准确率，还要单独监控少数类的召回率变化，防止量化操作对稀有类特征造成破坏。

2.6 常见误区与总结复盘

在TinyML模型评估实践中，围绕准确率存在几个高频误区，需要特别警惕：

• 误区一：准确率越高，模型越好。事实：在不平衡数据集上，高准确率可能只是“多数类猜谜游戏”的结果。必须结合混淆矩阵分析。
• 误区二：准确率下降意味着模型退化。事实：在模型优化过程中，准确率下降有时是因为模型开始正确识别少数类，导致FP增加。此时应关注F1分数是否提升。
• 误区三：在量化/剪枝后只比较准确率。事实：量化操作可能对少数类的特征表示造成非线性损伤，导致少数类召回率骤降而整体准确率几乎不变。必须分层评估。
• 误区四：用准确率作为模型A/B测试的唯一标准。事实：在TinyML的在线更新场景中，应使用能反映业务成本的指标，如“误唤醒次数/天”或“漏检率”。