1. 课程导入：TinyML模型评估的重要性、学习目标、课程整体框架与适用场景
TinyML 是机器学习与嵌入式系统交叉融合的前沿领域，其核心目标是在功耗受限、算力有限、内存以 KB 计的微控制器（MCU）上部署推理模型。与云端或服务器端的机器学习不同，TinyML 模型一旦烧录到设备端，便无法依赖网络连接进行实时参数更新，也无法通过人工干预来修正每一次推理偏差。因此，模型在部署前的评估质量，直接决定了设备在现场环境中的可靠性、安全性和用户体验。一个在实验室测试集上准确率高达 98% 的模型，可能因为类别样本不均衡、阈值设置不当或噪声干扰，在实际运行中频繁误判，导致设备误触发、漏报警甚至引发安全事故。本章作为《TinyML模型评估》课程的开篇，将系统阐述模型评估在 TinyML 开发流程中的战略地位，明确学习目标，并勾勒出课程的整体框架与适用场景，为后续深入学习混淆矩阵分析、类别不平衡处理和阈值调整奠定坚实的认知基础。
上图展示了 TinyML 模型评估在完整开发链路中的位置与反馈机制。从传感器数据采集到特征提取、模型训练与量化，最终进入评估环节。评估结果不仅决定模型是否能够部署，更通过反馈回路指导数据增强、特征优化和阈值调整。值得注意的是，TinyML 评估并非一次性动作，而是一个持续迭代的过程——设备在现场运行后收集的新数据，应定期回流至评估流程，以验证模型在真实环境中的泛化能力。
1.1 TinyML 模型评估的核心原理
TinyML 模型评估的本质，是在资源极度受限的约束下，对模型性能进行多维度的量化分析与验证。与常规机器学习评估相比，TinyML 评估面临三大独特挑战：样本量稀缺（嵌入式场景往往难以采集海量标注数据）、算力限制（无法在设备端运行复杂的评估算法）、环境动态变化（传感器数据分布会随温度、湿度、光照等条件漂移）。因此，TinyML 评估不能简单套用云端机器学习的评估指标，而需要建立一套兼顾准确性与资源消耗的评估体系。
从信息论角度看，模型评估的核心是衡量模型输出的概率分布与真实标签分布之间的差异。在 TinyML 场景中，这种衡量通常通过混淆矩阵（Confusion Matrix）实现。混淆矩阵不仅记录了正确分类的样本数，更关键的是揭示了错误分类的具体模式——哪些类别容易被混淆、哪些类别被系统性忽略。例如，在关键词唤醒（KWS）任务中，混淆矩阵可以清晰展示"是"与"不是"两个类别之间的误触发情况，这对于调整唤醒阈值至关重要。
此外，TinyML 评估还涉及量化误差评估。当模型从浮点精度（FP32）量化为 8 位整数（INT8）后，权重和激活值的精度损失会直接影响推理准确性。评估时必须对比量化前后模型的性能差异，确保精度损失在可接受范围内（通常要求 Top-1 准确率下降不超过 2%）。这种量化感知评估是 TinyML 特有的评估维度，在云端机器学习中并不常见。
核心要点：TinyML 模型评估是一个多维度、多层次的系统工程，它既包含传统机器学习的统计指标（准确率、精确率、召回率），又包含嵌入式特有的资源约束指标（RAM 占用、Flash 占用、推理延迟），还包含量化误差评估和现场鲁棒性验证。任何单一指标都无法全面反映模型在真实设备上的表现。
1.2 学习目标与课程框架
本课程的学习目标分为三个层级，从基础概念到高级调优策略，层层递进：
| 学习层级 | 核心目标 | 关键能力 | 对应章节 |
|---|---|---|---|
| 基础层 | 理解混淆矩阵的构造与解读 | 能够手工计算 TP/TN/FP/FN，绘制并分析混淆矩阵 | 第 2-4 章 |
| 进阶层 | 掌握类别不平衡的处理方法 | 能够识别数据不平衡问题，应用重采样、加权损失、合成样本等策略 | 第 5-8 章 |
| 高级层 | 精通阈值调整与决策优化 | 能够基于 ROC 曲线、PR 曲线和成本函数选择最优阈值 | 第 9-12 章 |
课程整体框架围绕"评估-诊断-优化"的闭环逻辑展开。第 2 至 4 章聚焦混淆矩阵的基础理论与可视化方法；第 5 至 8 章深入探讨类别不平衡的成因、检测与解决方案；第 9 至 12 章系统讲解阈值调整的数学原理与工程实践。每章均配备真实嵌入式案例（如人体活动识别、异常声音检测、工业预测性维护等），确保理论知识与实际应用紧密结合。
1.3 适用场景与典型应用
TinyML 模型评估技术适用于以下典型场景：
- 智能语音交互设备：如智能音箱的本地唤醒词检测、工业环境中的异常声音监测。此类场景对误唤醒率（False Wake-up Rate）有严格要求，需要精细的阈值调整。
- 可穿戴健康监测：如心率异常检测、跌倒识别。此类场景中，漏报（False Negative）可能导致严重后果，评估时需要特别关注召回率指标。
- 工业预测性维护：通过振动传感器预测设备故障。由于故障样本通常远少于正常样本，类别不平衡问题尤为突出。
- 智能农业与环境监测：如土壤湿度分类、害虫声音识别。现场环境复杂多变，模型评估必须考虑环境噪声的影响。
在这些场景中，模型评估不仅是部署前的"质检关卡"，更是持续运营的"健康监测仪"。例如，一个部署在工厂车间的振动监测模型，可能因为设备老化导致振动模式漂移，原本合适的阈值变得不再适用。此时，需要定期使用新采集的数据重新评估模型，并动态调整阈值。
1.4 常见误区与总结复盘
在 TinyML 模型评估的实践中，开发者常陷入以下误区：
误区一：过度依赖准确率（Accuracy）。在类别不平衡的数据集上，准确率具有强烈误导性。例如，在 99% 为正常样本、1% 为故障样本的工业场景中，一个将所有样本都预测为"正常"的模型，准确率高达 99%，但实际毫无故障检测能力。正确做法是同时关注精确率、召回率和 F1 分数。
误区二：忽视量化误差的影响。许多开发者在浮点模型上评估性能，认为量化后精度损失可以忽略。实际上，对于某些对噪声敏感的模型（如语音命令识别），INT8 量化可能导致准确率下降 5% 以上。评估必须基于量化后的模型进行。
误区三：静态评估，缺乏动态验证。仅在固定的测试集上评估一次，就草率部署。正确的做法是建立持续评估机制，定期用新采集的现场数据验证模型，并根据数据漂移情况调整阈值或触发重新训练。