课程导入：TinyML测试的重要性、板端回放与真实传感器输入对比的意义
TinyML（微型机器学习）正将人工智能推理能力从云端下沉到微控制器（MCU）、传感器节点和边缘设备。当模型部署到仅有几十KB内存、主频不过百兆赫兹的嵌入式设备上时，测试策略的优劣直接决定了产品能否在真实物理世界中稳定运行。与云端AI测试不同，TinyML测试不仅要验证模型精度，还要验证模型在受限硬件资源下的行为一致性、时序确定性以及传感器信号链路的完整性。本章作为整个课程的开篇，将系统阐述TinyML测试的核心挑战，重点剖析板端回放与真实传感器输入两种测试路径的本质差异，并给出课程的整体学习框架。
上图展示了TinyML测试的两条核心路径。路径A（真实传感器输入）强调从物理世界到数字域的完整信号链路，路径B（板端回放）则通过预采集数据直接注入MCU内存，绕开物理传感器。两条路径各有适用场景，也各有其不可替代的价值与局限性。理解这两条路径的差异，是设计有效测试策略的前提。
1.1 TinyML测试的核心挑战与重要性
TinyML测试之所以重要，源于其部署环境的特殊性。一个典型的TinyML设备——例如智能门铃中的振动传感器、工业设备上的声学监测器——其工作环境充满噪声、温度漂移、电源波动和机械振动。模型在PC端验证时精度达到95%，部署到板端后可能骤降至70%，这种精度衰减并非模型本身的问题，而是测试方法未能覆盖真实部署条件所致。
TinyML测试面临三大核心挑战：
- 资源约束下的行为验证：MCU的Flash通常只有256KB-1MB，RAM仅几十KB。模型量化（如INT8）后，数值精度损失、算子实现差异、内存对齐问题都可能导致输出偏差。测试必须验证量化模型在目标硬件上的实际输出与浮点参考模型之间的误差是否在可接受范围内。
- 时序与实时性验证：TinyML系统往往需要周期性采集传感器数据并完成推理。中断延迟、DMA传输时间、RTOS调度抖动都会影响推理结果的时效性。测试需要测量从传感器采样到推理输出之间的端到端延迟，并验证在最坏情况下是否满足实时性要求。
- 传感器信号链路的完整性：从物理信号到数字量的转换过程中，模拟前端（运放、滤波器）、ADC的采样率与分辨率、参考电压的稳定性都会引入误差。测试必须区分模型误差与信号链路误差，否则无法定位问题根源。
关键认知：TinyML测试不是简单的“跑一遍模型看准确率”，而是对“硬件-软件-算法-环境”四者耦合系统的综合验证。任何一环的偏差都可能导致整体功能失效。例如，一个用于预测电机故障的振动模型，在实验室测试时表现良好，但部署到工厂后，由于环境温度变化导致传感器灵敏度漂移，模型误报率急剧上升。这类问题只有在真实传感器输入测试中才能暴露。
1.2 板端回放与真实传感器输入的本质差异
板端回放（Board-level Replay）是指将预先采集好的传感器数据（如音频WAV文件、加速度计CSV数据）通过SD卡、串口或DAC注入到目标MCU中，驱动模型进行推理。真实传感器输入（Real Sensor Input）则是让MCU直接连接物理传感器，在真实或模拟环境中采集数据并实时推理。两者的差异体现在多个维度：
| 对比维度 | 板端回放 | 真实传感器输入 |
|---|---|---|
| 数据来源 | 预采集的离线数据集 | 实时物理信号转换 |
| 可重复性 | 完全可重复，同一份数据可反复测试 | 不可完全重复，环境噪声随机变化 |
| 测试速度 | 快，可批量自动化执行 | 慢，需要搭建物理环境 |
| 信号链路覆盖 | 仅覆盖数字域（ADC之后） | 覆盖模拟前端+ADC全链路 |
| 时序真实性 | 数据注入速率可调，但非真实采样时序 | 真实采样时序，含中断/DMA延迟 |
| 适用阶段 | 算法开发、回归测试、CI/CD集成 | 硬件验证、现场部署前验收 |
| 成本与复杂度 | 低，无需额外硬件 | 高，需要传感器、信号源、屏蔽环境 |
板端回放的核心价值在于可控性与可重复性。当开发人员需要验证模型在特定边界条件下的表现（如极端噪声、突发脉冲）时，回放方式可以精确构造输入数据，且每次运行结果一致，便于定位代码修改带来的影响。真实传感器输入的核心价值在于端到端真实性，它验证了从物理世界到推理输出的完整链路，包括传感器灵敏度、模拟滤波特性、ADC量化噪声等所有环节。
经验建议：在项目开发周期中，两种测试应配合使用。开发阶段以板端回放为主，快速迭代模型与算法；硬件定型后，引入真实传感器输入测试，验证全链路性能。最终交付前，必须进行至少一周的连续真实环境测试，以捕获偶发性问题。
1.3 课程学习目标与整体框架
本课程旨在帮助学员建立一套系统化的TinyML测试方法论，能够独立设计、执行和分析板端回放与真实传感器输入测试。完成本课程后，学员将具备以下能力：
- 设计测试数据集：理解如何采集、清洗、标注适合TinyML测试的数据集，包括数据增强、类别平衡、时间序列对齐等关键技术。
- 搭建板端回放环境：掌握通过DAC、文件系统或调试接口向MCU注入测试数据的方法，并能编写自动化测试脚本。
- 构建真实传感器测试台架：学会使用信号发生器、振动台、声学音箱等设备模拟真实物理输入，并同步采集MCU输出进行比对。
- 分析测试结果：能够区分模型误差、量化误差、信号链路误差，使用混淆矩阵、回归曲线、频谱分析等工具定位问题。
- 制定测试策略：根据项目阶段、资源约束和风险等级，合理分配回放测试与真实输入测试的比例。
课程整体框架分为五个模块：
- 模块一（第1-5章）：测试基础与数据准备。涵盖TinyML测试理论、数据集采集规范、数据标注工具、数据增强策略。
- 模块二（第6-12章）：板端回放技术。深入讲解回放硬件接口（DAC、SPI、I2S）、数据注入时序控制、回放脚本编写、批量自动化测试框架。
- 模块三（第13-20章）：真实传感器输入测试。包括传感器选型、模拟前端设计、测试环境搭建、多传感器同步采集、现场测试方法。
- 模块四（第21-26章）：结果分析与调试。涵盖误差溯源、量化敏感性分析、时序抖动测量、功耗与性能联合测试。
- 模块五（第27-30章）：工程实践与案例。通过智能家居、工业预测性维护、可穿戴设备三个完整案例，串联全部测试技术。
常见误区警示：许多工程师在TinyML测试中只关注模型准确率，而忽略了测试数据的代表性。例如，使用与训练集同分布的数据进行回放测试，得到的高准确率并不能反映真实场景性能。正确的做法是：回放测试数据应包含训练分布之外的边界情况（如传感器饱和、信号丢失、突发干扰），真实输入测试则需覆盖不同环境条件（温度、湿度、背景噪声）。
1.4 案例拆解：从回放到真实输入的测试策略演进
为帮助学员直观理解两种测试路径的配合方式，我们以一个工业电机振动监测项目为例进行拆解。
项目背景与约束：某工厂需要部署TinyML设备监测电机轴承故障。设备采用STM32L4系列MCU（170MHz，512KB Flash，160KB RAM），搭载三轴加速度计（ADXL345，12bit，采样率3200Hz）。模型为1D-CNN，INT8量化后模型大小约45KB。项目周期12周，要求误报率低于1%，漏报率低于0.5%。
初始测试现象：开发团队在PC端使用Python验证模型，准确率达98.2%。部署到板端后，使用预先采集的10组电机振动数据（每组10秒）进行回放测试，准确率降至91.5%。进一步分析发现，INT8量化导致的精度损失约3%，剩余约3.7%的误差来自板端推理与PC端浮点推理的数值差异。
关键输入数据与参数：回放测试中，数据通过SD卡读取，以DMA方式注入内存缓冲区，每128个采样点触发一次推理。推理耗时约8ms，而采样周期为0.3125ms（3200Hz），因此每40个采样点需完成一次推理，实际推理耗时8ms远小于采样周期，满足实时性要求。但测试中发现，当SD卡读取延迟超过2ms时，DMA缓冲区出现欠载，导致数据丢失。
分析判断过程：团队通过逻辑分析仪抓取SD卡读取时序，发现FAT文件系统在读取跨簇数据时存在额外寻道时间。解决方案是将测试数据预加载到外部SPI Flash中，并采用双缓冲机制（Ping-Pong Buffer）消除读取延迟。修改后，回放测试准确率提升至97.8%。
实际操作步骤：
- 将10组振动数据转换为二进制格式，烧录至8MB SPI Flash。
- 修改驱动代码，启用双缓冲DMA传输，缓冲区大小设为256字节。
- 编写自动化测试脚本，循环回放10组数据，记录每次推理输出与预期标签。
- 统计混淆矩阵，计算准确率、精确率、召回率。
结果对比与复盘：回放测试通过后，团队搭建真实传感器测试台架：将电机安装在隔振平台上，使用信号发生器模拟不同转速下的振动信号，同时用高精度参考加速度计（PCB Piezotronics）同步采集数据。真实输入测试发现，当环境温度从25℃升至60℃时，ADXL345的灵敏度漂移约2%，导致模型输出置信度下降。团队通过增加温度补偿算法（基于片内温度传感器）解决了该问题。
风险与代价：真实传感器测试耗时3周，占项目总周期的25%，但避免了部署后现场返工。如果仅依赖回放测试，温度漂移问题将在实际运行中导致误报率上升至5%，远超1%的指标要求。
复盘经验：回放测试适合验证数字域逻辑正确性，真实输入测试才能暴露模拟链路问题。两种测试的配合比例建议为：开发期70%回放+30%真实输入，验证期50%+50%，部署前100%真实输入。