2、TinyML基础：TinyML定义、典型应用场景、端侧推理与云侧推理的区别

TinyML（微型机器学习）是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限、存储空间极小的微控制器（MCU）或极低功耗处理器上，直接部署和运行机器学习推理模型。在HIL（硬件在环）验证体系中，TinyML端侧推理的实时性直接决定了整个控制闭环的响应质量。理解TinyML的本质、适用边界以及它与传统云侧推理的差异，是后续开展实时性验证工作的认知基础。

上图从系统架构视角对比了端侧推理与云侧推理的典型数据流。在HIL验证场景中，我们关注的是从传感器数据输入到执行器动作输出的完整闭环时序，而TinyML端侧推理正是这个闭环中的核心计算节点。下面从定义、应用场景和推理架构差异三个维度展开。

2.1 TinyML定义与核心约束

TinyML并非简单的“小模型”，而是一套完整的工程方法论，它要求在极端的资源约束下实现机器学习功能。根据TinyML基金会和行业共识，其典型约束条件包括：

• 算力约束：MCU主频通常在几十MHz到几百MHz之间，不具备GPU或NPU等并行加速硬件，依赖ARM Cortex-M系列内核的DSP指令或专用扩展（如Helium）。
• 存储约束：Flash容量通常在256KB~2MB之间，RAM在16KB~512KB之间。模型权重、中间特征图、运行时缓冲区都必须精打细算。
• 功耗约束：电池供电场景下，平均功耗需控制在毫瓦级甚至微瓦级，推理任务需在极短时间内完成以便快速进入低功耗模式。
• 实时性约束：推理延迟必须满足控制环路的硬实时要求，例如电机控制环通常要求1kHz~10kHz的控制频率，对应推理延迟需在100μs~1ms量级。

2.2 典型应用场景与HIL验证切入点

TinyML的应用场景广泛分布在工业预测性维护、可穿戴设备、智能家居、农业物联网等领域。从HIL验证的角度，我们更关注那些对实时性有明确要求的闭环控制场景。

应用场景	输入信号	推理输出	实时性要求	HIL验证重点
电机振动异常检测	3轴加速度计（1kHz采样）	故障类别/置信度	< 5ms	故障注入后的响应时间
智能锁人脸/语音唤醒	麦克风阵列/图像帧	唤醒指令/身份ID	< 100ms	低功耗模式切换延迟
工业阀门位置闭环控制	角度传感器+压力传感器	PID修正量	< 1ms	控制周期抖动分析
可穿戴跌倒检测	IMU 6轴数据（50Hz）	跌倒事件标志	< 200ms	误报率与响应延迟权衡

在HIL环境中，TinyML模型通常运行在真实的MCU目标板上，而传感器信号由实时仿真机（如NI PXI、dSPACE）模拟生成。验证的核心是：仿真机注入的激励信号经过TinyML推理后，输出控制指令的时间是否满足控制律的时序预算。

2.3 端侧推理与云侧推理的本质区别

理解两者的区别不能仅停留在“部署位置不同”的层面，需要从数据流、实时性、可靠性、安全性和成本五个维度进行系统性对比。

对比维度	端侧推理（TinyML）	云侧推理（Cloud ML）
数据流路径	传感器 → MCU → 执行器（本地闭环）	传感器 → 网关 → 网络 → 云端 → 回传
典型延迟	微秒~毫秒级（确定性）	百毫秒~秒级（受网络波动影响）
网络依赖	完全离线，不依赖外部网络	强依赖网络带宽和稳定性
数据隐私	原始数据不出设备，隐私性高	数据需上传，存在隐私泄露风险
功耗预算	单次推理 < 1mJ（毫焦耳级）	设备端通信功耗远高于计算功耗
模型精度	受量化影响，精度略降（通常<2%）	FP32/FP16，精度高
OTA更新	需考虑Flash擦写寿命和升级失败回滚	云端热更新，灵活

2.4 案例拆解：工业阀门位置闭环的TinyML推理实时性验证

为了更具体地说明端侧推理在HIL验证中的关键点，我们以一个工业阀门位置控制场景为例。

背景与约束：某化工厂需要对其气动阀门进行数字化改造，要求在不更换现有MCU（STM32F407，168MHz，192KB RAM，1MB Flash）的前提下，增加基于振动信号的阀芯卡涩早期预警功能。控制周期为1ms，即每1ms需要完成一次传感器读取、推理和PID输出。整个控制任务的时间预算为800μs，其中留给TinyML推理的时间预算为200μs。

初始现象与目标：初始方案将振动数据通过WiFi上传至云端进行推理，实测从数据采集到控制指令返回的平均延迟为180ms，且存在最大450ms的抖动。这导致阀门在卡涩初期无法及时响应，控制超调量增大30%。目标是将推理延迟压缩到200μs以内，且抖动不超过±20μs。

关键输入数据与参数：

• 振动传感器：ADXL345，I2C接口，采样率3.2kHz，每次读取6字节（3轴×16bit）。
• 模型：1D-CNN，输入64点（约20ms窗口），2层卷积+1层全连接，参数量18K。
• 量化方案：INT8对称量化，权重从FP32的72KB压缩至18KB。

分析判断过程：

1. 瓶颈定位：通过HIL平台的示波器功能抓取GPIO翻转信号，发现I2C读取耗时85μs，推理耗时320μs，PID计算耗时50μs，总耗时455μs，超出200μs预算。
2. 优化措施：将I2C时钟从400kHz提升至1MHz（读取降至35μs）；使用CMSIS-NN的arm_convolve_s8函数替代手动卷积循环（推理降至120μs）；将PID计算改为查表法（降至20μs）。
3. 验证结果：优化后总耗时175μs，满足预算。在HIL中注入模拟的阀芯卡涩故障（振动特征突变），从故障注入到控制指令变化的时间为190μs，抖动±15μs。

风险与代价：INT8量化导致模型精度从98.2%降至97.1%，但误报率仅增加0.3次/千小时，在可接受范围内。I2C速率提升后，信号完整性需通过HIL平台的数字示波器验证，确保无毛刺。

2.5 总结与关键认知

TinyML端侧推理与云侧推理并非替代关系，而是互补关系。在HIL验证体系中，我们需要明确以下结论：

• 实时性验证必须基于目标硬件：PC上的仿真推理耗时不能代表MCU上的实际表现，必须使用真实的MCU或至少是相同架构的仿真模型。
• 量化是TinyML的必选项：INT8量化带来的精度损失通常可控，但能带来4~8倍的推理加速和4倍的内存节省。
• 确定性优先于平均性能：HIL验证更关注最坏情况执行时间（WCET）和抖动，而非平均延迟。需要确保在中断嵌套、DMA竞争等极端情况下，推理任务仍能在预算时间内完成。
• 功耗与实时性需要联合评估：降低主频可以省电，但会增加推理延迟。在HIL中可以通过调整时钟频率，绘制“延迟-功耗”曲线，找到最优工作点。