课程导入：理解TinyML实时推理周期的定义、重要性以及Deadline、Jitter和采样窗口在嵌入式AI中的角色
TinyML（微型机器学习）正在将人工智能从云端数据中心推向数十亿个微控制器（MCU）驱动的边缘设备。与运行在GPU或高性能CPU上的传统AI推理不同，TinyML推理运行在功耗受限、计算资源有限、内存以KB为单位的嵌入式系统上。当这些系统被用于电机控制、工业预测性维护、可穿戴健康监测或自动驾驶辅助时，推理行为不再是“尽力而为”的批处理任务，而是一个必须满足严格时间约束的实时计算过程。理解“实时推理周期”这一核心概念，是设计可靠、安全、可交付的嵌入式AI产品的第一道门槛。
上图展示了TinyML实时推理周期的核心概念框架。从传感器域到执行域，整个推理链路被三个时间约束所支配：Deadline（截止时间）、Jitter（抖动）和采样窗口（Sampling Window）。这三个参数不是孤立的，它们相互耦合，共同决定了系统能否在物理世界的时间尺度内做出正确反应。下面我们将逐一深入剖析这些概念，并探讨它们在嵌入式AI工程中的具体角色。
1.1 实时推理周期的定义与系统边界
在传统嵌入式开发中，“实时”通常指系统能够在规定的时间内完成特定任务。而在TinyML语境下，实时推理周期被定义为：从传感器采集物理信号开始，经过预处理、特征提取、神经网络推理，到输出控制信号或决策结果的完整时间循环。这个周期不是一次性的，而是以固定频率（如100Hz、1kHz）重复执行的循环任务。
一个典型的TinyML实时推理周期包含以下五个阶段：
- 采样（Sampling）：通过ADC（模数转换器）将模拟信号转换为数字样本，通常以DMA（直接内存访问）方式批量搬运到内存缓冲区。
- 预处理（Preprocessing）：对原始样本进行滤波、归一化、重采样或FFT（快速傅里叶变换）等操作，将数据整理为模型可接受的输入张量。
- 推理（Inference）：运行神经网络模型（如CNN、RNN、Transformer-Lite），执行卷积、激活、池化等算子，产生原始输出。
- 后处理（Post-processing）：将原始输出转换为物理意义明确的决策，如分类标签、回归数值或异常分数。
- 执行（Execution）：根据决策结果驱动执行器，如调整PWM占空比、触发报警、更新显示或发送CAN消息。
这个周期必须在一个被称为“周期时间”（Period）的固定时间槽内完成。例如，若系统以1kHz的频率运行推理，则每个周期的时间预算为1ms。如果推理周期超过1ms，则意味着系统无法跟上采样速率，导致数据积压或丢帧。
1.2 Deadline：推理结果的“最后期限”
Deadline是指从周期开始到推理结果必须生效的最大允许时间。它是实时系统中最硬性的约束。根据错过Deadline的后果严重程度，可以将其分为两类：
| 类型 | 定义 | 典型应用 | 错过后果 |
|---|---|---|---|
| 硬实时（Hard Real-time） | 错过Deadline会导致系统失效或安全事故 | 电机换相控制、安全气囊触发、医疗输液泵 | 设备损坏、人员伤害、任务失败 |
| 软实时（Soft Real-time） | 错过Deadline会降低服务质量，但系统仍可运行 | 语音唤醒词检测、环境温湿度监测、手势识别 | 响应延迟、用户体验下降、数据精度降低 |
在TinyML中，Deadline的设定需要综合考虑物理过程的时间常数和控制环路的稳定性要求。例如，一个用于电机堵转检测的模型，其Deadline必须小于电机电流从正常到异常变化的时间；而一个用于工业振动分析的模型，其Deadline则取决于振动特征的变化速率。
设定Deadline时，需要遵循以下判断流程：
- 分析物理过程：确定被监测信号的最快变化速率（如最高频率分量）。
- 确定响应需求：从系统安全或功能需求出发，确定从事件发生到系统响应所需的最大延迟。
- 分配时间预算：将总延迟预算分解为采样时间、推理时间、通信时间和执行时间。
- 留出安全裕量：通常预留20%-30%的余量，以应对温度变化、电压波动和模型更新带来的性能差异。
1.3 Jitter：时间不确定性的“隐形杀手”
Jitter（抖动）是指任务实际完成时间相对于理论完成时间的偏差。在实时推理中，Jitter表现为每次推理周期耗时的波动。即使平均推理时间远小于Deadline，如果Jitter过大，仍然会导致部分周期超出Deadline。
Jitter的来源多种多样，在TinyML系统中尤其突出：
- 中断干扰：定时器中断、UART接收中断、DMA传输完成中断等会抢占CPU，导致推理暂停。
- 缓存未命中：MCU的Flash和SRAM访问速度不同，代码路径分支可能导致指令缓存命中率变化。
- 内存访问冲突：DMA控制器与CPU同时访问SRAM时，会产生总线仲裁延迟。
- 动态电压频率调整（DVFS）：部分MCU支持动态调频，频率切换期间指令执行速度不稳定。
- 外设等待：I2C或SPI通信时，从设备响应时间不确定。
量化Jitter的常用指标包括：
- 最大抖动（Max Jitter）：最长耗时与最短耗时之差。
- 标准差（σ）：反映耗时的离散程度。
- 最坏情况执行时间（WCET）：在所有可能输入和系统状态下，任务的最大执行时间。
在TinyML工程中，控制Jitter的核心策略是“隔离”和“预留”。隔离是指将推理任务放在高优先级任务中，屏蔽可屏蔽中断；预留是指在时间轴上为不可控因素（如Flash擦写、外部通信）预留固定的时间槽。
1.4 采样窗口：数据的时间跨度与信息完整性
采样窗口（Sampling Window）是指一次推理所使用的数据在时间轴上的覆盖范围。它决定了模型“看到”了多长时间的物理过程历史。采样窗口的长度直接影响两个关键指标：
- 频率分辨率：对于频谱分析类模型，频率分辨率 = 1 / 采样窗口长度。窗口越长，频率分辨率越高，能区分更接近的频率成分。
- 响应延迟：窗口越长，需要等待的数据越多，推理输出的延迟越大。
采样窗口与采样率（Fs）和样本数量（N）的关系为：窗口长度 = N / Fs。例如，以1kHz采样率采集256个样本，则采样窗口为256ms。
在TinyML中，采样窗口的选择需要权衡以下因素：
| 应用场景 | 推荐窗口长度 | 理由 |
|---|---|---|
| 关键词唤醒（KWS） | 20-50ms | 语音音素持续时间短，过长窗口会引入无关信息 |
| 电机振动分析 | 100-500ms | 需要覆盖至少一个旋转周期，以捕捉基频及谐波 |
| ECG心电异常检测 | 1-2秒 | 需要包含多个心跳周期（心率约60-100bpm） |
| 工业预测性维护 | 1-10秒 | 故障特征通常表现为低频趋势变化 |
采样窗口还决定了输入张量的维度，进而影响模型的计算量和内存占用。窗口越长，输入特征越多，模型参数和计算量通常也越大。因此，在资源受限的MCU上，采样窗口往往成为模型设计的第一约束。
1.5 三者的耦合关系与工程权衡
Deadline、Jitter和采样窗口并非独立变量，它们之间存在深刻的耦合关系：
- 采样窗口 → Deadline：采样窗口越长，需要等待的数据越多，推理开始的时间越晚，Deadline压力越大。
- 采样窗口 → 推理时间：窗口越长，输入数据量越大，推理计算量增加，推理时间变长。
- Jitter → Deadline裕量：Jitter越大，为了保证不超时，必须预留更多的时间裕量，实际可用的推理时间减少。
- Deadline → 采样率上限：Deadline越短，可用的采样窗口越短，采样率上限越高，但频率分辨率下降。
在实际工程中，这种耦合关系要求开发者采用迭代式设计：先根据物理需求初定采样窗口，再评估推理时间，然后检查是否满足Deadline，若不满足则调整窗口长度或模型结构，最后通过实测Jitter来验证时间裕量是否充足。
1.6 案例拆解：工业电机振动监测的实时推理周期设计
下面通过一个完整的案例来展示上述概念如何在实际项目中落地。
背景与约束：某工厂需要在一条生产线的异步电机上部署TinyML振动监测系统，用于检测轴承早期故障。电机转速为3000 RPM（50Hz），故障特征频率集中在100Hz-1kHz。系统使用STM32H743 MCU（Cortex-M7 @ 480MHz），板载ADXL345加速度计（最高采样率3200Hz），通过I2C接口连接。要求：当检测到轴承故障特征时，系统必须在200ms内发出报警信号并记录数据。
初始目标与参数：
- 采样率：Fs = 3200Hz（满足奈奎斯特采样定理，覆盖1kHz故障频率）
- 采样窗口：N = 1024点，窗口长度 = 1024/3200 = 320ms
- 模型：1D-CNN，输入维度 [1, 1024]，约50K参数，在Cortex-M7上推理时间约45ms
- Deadline：200ms（从采样开始到报警输出）
分析判断过程：
初步方案看似合理，但仔细分析后发现矛盾：采样窗口为320ms，而Deadline为200ms。这意味着在采样完成之前，Deadline已经到期。这是一个典型的采样窗口与Deadline冲突问题。
解决方案有两种：
- 缩短采样窗口：将N减少到512点，窗口长度变为160ms，满足200ms Deadline。但频率分辨率从3.125Hz（3200/1024）降低到6.25Hz（3200/512），可能无法区分相邻的故障特征频率。
- 采用重叠采样（Overlapping Window）：使用滑动窗口，每次推理使用最近512点数据，但窗口每次滑动256点。这样，虽然单次窗口长度为160ms，但通过重叠，系统每80ms就能产生一次推理结果，等效响应延迟降低。
实际操作步骤：
- 将采样窗口改为512点，采样率保持3200Hz，窗口长度160ms。
- 采用50%重叠率，即每采集256个新样本就触发一次推理。
- 推理时间45ms，加上预处理10ms和I2C采样时间（512点/3200Hz = 160ms），总周期为160ms（采样）+ 45ms（推理）+ 10ms（预处理）= 215ms。仍然超出200ms。
- 优化：将I2C采样改为DMA模式，采样与推理并行执行。当DMA正在采集后半段数据时，CPU开始对前半段数据进行推理。通过流水线设计，总延迟降低到160ms（采样）+ 45ms（推理）- 重叠部分 = 约170ms，满足200ms Deadline。
结果对比与复盘：
| 方案 | 窗口长度 | 频率分辨率 | 响应延迟 | 是否满足Deadline |
|---|---|---|---|---|
| 原始方案 | 320ms | 3.125Hz | 365ms | 否 |
| 缩短窗口 | 160ms | 6.25Hz | 215ms | 否 |
| 重叠+流水线 | 160ms（等效） | 6.25Hz | 170ms | 是 |
风险与代价：重叠采样增加了推理频率（从3.125次/秒提升到12.5次/秒），CPU负载上升约4倍，功耗增加。同时，频率分辨率降低可能导致对极相近频率成分的区分能力下降。作为补偿，可以在后处理中加入时域统计特征（如RMS、峰值因子）来辅助诊断。
复盘经验：在TinyML实时系统设计中，采样窗口、Deadline和推理时间必须作为一个整体进行联合优化。单纯调整任何一个参数都无法解决根本矛盾。流水线并行和重叠窗口是两种最有效的解耦手段。
1.7 常见误区与总结复盘
在理解TinyML实时推理周期的过程中，开发者常陷入以下误区：
- 误区一：将“平均延迟”当作“实时性”。实时性要求的是最坏情况下的确定性，而非平均值。一个平均50ms但偶尔200ms的系统，在硬实时场景下是不可接受的。
- 误区二：忽略采样窗口对Deadline的贡献。很多开发者只计算推理时间，却忘记了采样本身需要时间。在低速传感器（如I2C接口的温湿度传感器）上，采样时间可能远大于推理时间。
- 误区三：认为Jitter只是“小问题”。在控制环路中，Jitter会引入相位噪声，导致系统稳定性下降。在音频或振动监测中，Jitter会降低频谱分析的精度。
- 误区四：盲目追求高采样率。高采样率意味着更短的采样周期，但同时也意味着更大的数据量和更高的功耗。应根据信号带宽和模型需求合理选择。
总结：实时推理周期是TinyML系统设计的核心骨架。Deadline定义了“何时必须完成”，Jitter衡量了“完成时间的确定性”，采样窗口决定了“基于多少数据做决策”。三者共同构成了嵌入式AI系统的时间约束三角。在实际项目中，开发者需要从物理需求出发，通过迭代计算和实测验证，找到满足所有约束的最优平衡点。下一阶段，我们将深入探讨如何在MCU上实现确定性的推理调度，以及如何通过模型优化来压缩推理时间。