4、验收指标体系：准确率、精确率、召回率、F1分数、误报率（FPR）、漏报率（FNR）的定义与适用场景
TinyML穿戴设备的验收不能凭“感觉还行”或“演示时没出问题”来判定。无论是跌倒检测手环、睡眠呼吸暂停监测贴片，还是老人防走失鞋垫，模型在实验室的准确率与真实佩戴场景下的表现往往存在显著差异。要科学地回答“这个设备到底能不能用”，必须建立一套可量化、可复现、可对比的验收指标体系。本章聚焦六个核心指标——准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数、误报率（FPR）和漏报率（FNR），逐一拆解其数学定义、业务含义、适用场景以及常见陷阱，并给出面向穿戴设备验收的实操建议。
4.1 核心原理：从混淆矩阵到六项指标
所有分类模型的评估都建立在混淆矩阵（Confusion Matrix）之上。对于穿戴设备的二分类任务（如“跌倒”vs“正常活动”），模型预测结果与真实标签组合成四种情况：真正例（TP，实际跌倒且预测跌倒）、假正例（FP，实际正常但预测跌倒）、假负例（FN，实际跌倒但预测正常）、真负例（TN，实际正常且预测正常）。这四类计数构成了全部指标的计算基础。
准确率（Accuracy）是预测正确的样本占总样本的比例，即 (TP+TN)/(TP+FP+FN+TN)。它直观易懂，但在类别不平衡时极具误导性。例如，某跌倒检测设备在99%的时间里处于“正常”状态，模型只要永远输出“正常”，准确率就能达到99%，但该模型毫无实用价值。
精确率（Precision）衡量模型预测为正类的样本中有多少是真正的正类，即 TP/(TP+FP)。它回答的问题是：“当设备报警时，报警的可信度有多高？”高精确率意味着误报少，用户不会频繁被虚假警报打扰。
召回率（Recall）衡量真实正类样本中有多少被成功预测出来，即 TP/(TP+FN)。它回答的问题是：“真正发生的事件，设备能抓住多少？”高召回率意味着漏报少，安全关键型应用（如癫痫发作检测）必须优先保证召回率。
F1分数是精确率与召回率的调和平均数，即 2×P×R/(P+R)。当精确率和召回率需要平衡时，F1作为单一综合指标用于模型对比和验收决策。
误报率（FPR）是实际为负类但被误判为正类的比例，即 FP/(FP+TN)。它反映设备“无事生非”的频率，直接关联用户体验和电池续航——每次误报都会触发振动、通知或额外计算，加速耗电。
漏报率（FNR）是实际为正类但未被识别的比例，即 FN/(TP+FN)。它是召回率的补数（FNR=1-Recall），在医疗健康类穿戴设备中，漏报可能意味着错过一次急救机会，后果严重。
| 指标 | 公式 | 关注问题 | 穿戴设备典型场景 |
|---|---|---|---|
| 准确率 | (TP+TN)/总数 | 整体预测正确比例 | 类别均衡时的初步评估 |
| 精确率 | TP/(TP+FP) | 报警中有多少是真的 | 减少用户对误报的疲劳感 |
| 召回率 | TP/(TP+FN) | 真实事件抓到了多少 | 跌倒、癫痫等安全关键事件 |
| F1分数 | 2PR/(P+R) | 精确率与召回率的平衡 | 模型选型与阈值调优 |
| 误报率FPR | FP/(FP+TN) | 正常情况被误报的比例 | 睡眠监测、日常活动识别 |
| 漏报率FNR | FN/(TP+FN) | 真实事件被漏掉的比例 | 医疗级监测、紧急求助 |
4.2 判断方法与操作流程：如何科学设定验收标准
穿戴设备的验收不能只看单一指标，必须结合设备用途、用户群体和误报/漏报的代价来综合设定。以下是标准操作流程：
- 明确正类定义：确定什么是“正类”（如跌倒、癫痫发作、呼吸暂停），并确保标注团队对正类标准理解一致。例如，跌倒检测中，“滑倒后坐地”算跌倒，“弯腰捡东西”不算。
- 采集真实场景数据：实验室数据往往过于“干净”。验收必须包含真实佩戴场景下的数据，包括不同体型、不同活动强度、不同佩戴位置（手腕、腰部、胸部）的样本。
- 确定代价权重：评估一次误报和一次漏报分别造成多大损失。对于医疗级设备，漏报代价极高；对于消费级健身手环，频繁误报会导致用户弃用。
- 设定指标阈值：根据代价权重，为每个指标设定最低可接受值。例如，医疗级跌倒检测要求召回率≥99%、FPR≤1次/天；消费级设备可放宽至召回率≥95%、FPR≤3次/天。
- 进行K折交叉验证：在独立测试集上计算所有指标，避免过拟合带来的虚高表现。
- 绘制PR曲线或ROC曲线：通过调整分类阈值，观察精确率-召回率或FPR-TPR的权衡关系，选择最优工作点。
4.3 案例拆解：老人跌倒检测手环的验收实战
背景与约束：某养老院计划采购一批跌倒检测手环，用于独居老人夜间活动监测。设备需在老人发生跌倒后30秒内自动报警，同时避免因弯腰、坐下等日常动作触发误报。养老院共有120位老人，平均年龄78岁，其中30%有轻度认知障碍。硬件约束：MCU主频64MHz，内存256KB，电池容量200mAh，目标续航≥7天。
初始现象与目标：厂商提供的实验室报告显示准确率98.5%，但养老院试戴一周后发现，每天每台设备平均误报4.2次，夜间误报导致护工频繁查看，老人睡眠受扰。同时，有2次真实跌倒未被检测到（漏报），其中1次造成髋部骨折。厂商的“准确率98.5%”完全无法反映实际使用问题。
关键数据与分析：重新采集一周真实佩戴数据，共记录事件：真实跌倒8次（其中2次被漏报），正常活动片段约120,000条（其中误报29次）。计算得：召回率=6/8=75%，FPR=29/120,000≈0.024%（看似很低，但按每天每设备约1,000次活动片段计算，每天误报约0.24次，实际远低于试戴观察值——因为试戴中护工将“疑似误报”也计入，且夜间低活动量时误报更明显）。进一步分析发现，误报集中在老人快速坐下或弯腰捡物时，而漏报发生在老人从床上滑落（加速度特征与走路相似）的场景。
实际操作步骤：
- 将加速度计采样率从25Hz提升至50Hz，捕捉更精细的冲击特征。
- 增加“跌倒后静止”判定条件：跌倒后2秒内无大幅运动，降低快速坐下的误报。
- 调整分类阈值：将决策阈值从0.5降至0.35，优先提升召回率。
- 在固件中增加“夜间模式”：22:00-6:00期间提高灵敏度，因为夜间跌倒多为滑落，特征较弱。
结果对比：优化后重新测试两周，召回率提升至100%（8/8次全部检出），FPR降至每天0.8次/设备，续航从8.2天降至6.9天（因采样率提升增加功耗），但仍满足≥7天的目标。护工满意度从62%提升至91%。
风险与代价：提高灵敏度导致误报率上升，夜间模式可能漏掉白天发生的非典型跌倒。为此，团队增加了“手动取消报警”功能，并设置连续3次误报后自动降低灵敏度。
复盘经验：单一准确率指标掩盖了真实问题。必须按场景分层评估，且验收数据必须来自真实使用环境。代价权重决定了指标优先级——本案例中漏报的代价远高于误报，因此优先保证召回率。
4.4 常见误区与总结复盘
误区一：混淆“精确率”与“准确率”。精确率只关注预测为正类的样本，准确率关注所有样本。在穿戴设备中，正类往往是少数事件，精确率比准确率更能反映报警质量。
误区二：忽略误报率的“频率维度”。FPR是比例指标，但用户感知的是“每天误报几次”。同样FPR=0.1%，在每天100次活动判断的设备上意味着每天0.1次误报，而在每天1,000次判断的设备上意味着每天1次误报。验收时应将FPR换算为“每设备每天误报次数”。
误区三：用F1分数掩盖极端情况。F1=0.8可能对应P=0.9、R=0.72，也可能对应P=0.72、R=0.9。对于安全关键应用，后者更可接受。验收时应同时查看P和R的具体值，而非只看F1。
误区四：测试集与真实场景分布不一致。实验室数据中跌倒样本占比可能高达30%，而真实场景中跌倒占比不足0.01%。模型在实验室表现良好，真实场景中可能因先验概率变化而失效。建议使用“真实场景采样率”重新加权评估。
误区五：忽视阈值对指标的影响。同一模型，阈值从0.5调到0.3，召回率可能从80%升至95%，但FPR可能翻倍。验收时必须明确阈值设置，并在报告中注明。