1. 课程导入
TinyML（微型机器学习）正将人工智能推理能力从云端下沉到微控制器（MCU）、边缘传感器和电池供电设备中。当模型被压缩到几十KB甚至几KB，运行在Cortex-M4或RISC-V内核上时，一个核心问题随之浮现：在PC上验证的准确率、延迟和内存占用，能否真实反映板端部署后的表现？答案往往是否定的。离线指标与板端真实表现之间存在系统性偏差，这种偏差可能来自量化误差、算子实现差异、内存布局、时钟频率波动、外设中断抢占，甚至编译器优化级别。本章作为整个课程的开篇，将系统阐述TinyML端侧评估的独特挑战、离线指标与板端表现对齐的必要性，并给出课程的整体框架与学习目标。
一、TinyML端侧评估的核心原理：为什么离线指标不够用
TinyML的评估体系与传统嵌入式软件测试有本质区别。传统嵌入式测试关注功能正确性和时序约束，而TinyML评估必须同时覆盖算法精度、资源占用、实时性能和功耗四个维度。离线评估（在PC上运行浮点模型或模拟量化模型）只能提供理想化的参考值，无法反映板端的真实物理约束。
以量化为例，一个在PC上通过TensorFlow Lite模拟量化（仅量化权重，激活仍为浮点）的模型，其Top-1准确率可能只下降0.5%。但当部署到STM32F4系列MCU上，使用CMSIS-NN的int8内核时，激活值被真实量化为int8，每层计算都会引入舍入误差。这些误差在深层网络中可能被放大——尤其是当中间层激活值分布不均匀时，量化尺度（scale）选择不当会导致信息丢失。离线模拟往往使用全局统计量（如Per-Tensor）进行量化，而板端可能采用Per-Channel量化，两者的数值行为完全不同。
另一个关键差异是内存访问模式。PC上的缓存层级（L1/L2/L3）与MCU的SRAM结构截然不同。MCU通常只有几百KB的SRAM，没有独立的高速缓存，所有数据访问都直接面向SRAM。这意味着内存访问延迟是均匀的，但带宽有限。一个在PC上运行很快的模型，如果其权重矩阵的访问模式导致频繁的SRAM bank冲突，在板端可能产生显著的性能下降。
二、离线指标与板端真实表现对齐的必要性
对齐的必要性可以从三个层面理解：技术正确性、工程效率、产品可靠性。
技术正确性层面，离线指标无法捕捉硬件相关的数值行为。例如，CMSIS-NN的矩阵乘法采用4x4分块策略，其累加顺序与PC上的浮点实现不同，导致舍入误差的分布模式不同。某些对数值扰动敏感的模型（如姿态估计中的回归头），在板端可能出现精度骤降，而离线模拟完全无法预知。
工程效率层面，如果团队在模型选型阶段只依赖离线指标，很可能选择一个在PC上表现优异但在板端延迟超标的模型。例如，MobileNetV2的深度可分离卷积在PC上FLOPs很低，但在MCU上由于内存访问不连续，实际延迟可能高于参数更多的标准卷积。如果能在早期进行板端基准测试，可以避免后期大量的模型替换工作。
产品可靠性层面，端侧评估必须考虑真实运行环境。MCU上的主循环可能被定时器中断、DMA传输或通信协议栈打断。一个在理想条件下测得10ms延迟的推理，在中断频繁发生时可能变成30ms，导致实时控制任务失败。离线指标无法模拟这种并发干扰，只有板端实测才能暴露问题。
| 评估维度 | 离线指标（PC） | 板端真实表现（MCU） | 偏差来源 |
|---|---|---|---|
| 精度 | 浮点Top-1 / 模拟量化Top-1 | int8真实量化Top-1 | 量化尺度、舍入模式、算子实现 |
| 延迟 | GPU/CPU毫秒级 | MCU时钟周期级（ms~数百ms） | 时钟频率、内存带宽、中断抢占 |
| 内存 | 静态分析（保守估计） | 峰值RAM（含中间缓冲区） | 算子内部缓冲、对齐填充、DMA |
| 功耗 | 不可测（PC功耗无意义） | mA级平均/峰值电流 | 外设状态、时钟门控、电压调节 |
三、课程整体框架与学习目标
本课程共30章，按照“评估基础 → 指标体系 → 工具方法 → 实战案例 → 高级专题”五个阶段组织。第一阶段（第1-5章）建立端侧评估的概念框架和指标体系；第二阶段（第6-12章）深入讲解离线指标的计算方法与局限性；第三阶段（第13-20章）聚焦板端测量工具、基准测试方法和调试技巧；第四阶段（第21-26章）通过完整案例展示从模型选型到部署验收的全流程；第五阶段（第27-30章）探讨多任务调度、低功耗优化和自动化评估平台等进阶主题。
完成本课程后，学习者应具备以下能力：
- 建立评估体系：能够为给定的TinyML应用场景设计合理的评估方案，明确需要采集哪些指标、使用什么工具、如何设置测试条件。
- 识别偏差源：当离线指标与板端表现不一致时，能够系统性地排查量化误差、算子实现、内存布局、中断干扰等潜在原因。
- 执行板端基准测试：熟练使用逻辑分析仪、电流探头、调试器性能分析器等工具，获取准确的延迟、内存和功耗数据。
- 进行迭代优化：基于板端实测数据，对模型结构、量化策略、算子选择或内存布局进行针对性优化，并验证优化效果。
- 输出可信报告：能够撰写包含完整测试条件、数据表格、偏差分析和优化建议的评估报告，支撑产品决策。
四、常见误区与总结复盘
在TinyML端侧评估的实践中，初学者常陷入以下误区：
总结复盘：本章的核心要点可以归纳为“一个认知、两个原则、三个动作”。一个认知是：离线指标与板端表现之间存在系统性偏差，这种偏差是TinyML工程化的固有挑战。两个原则是：评估必须覆盖精度、延迟、内存、功耗四个维度；评估结果必须可复现、可追溯。三个动作是：建立离线到板端的指标映射关系；在项目早期进行板端基准测试；建立持续回归测试机制，防止优化引入新问题。