3、时序数据基础：时序数据的特点、常见类型（如语音、传感器信号）以及建模的基本思路
在进入 TFLite Micro 的定长输入处理之前，我们必须先建立对时序数据本身的系统性认知。时序数据（Time Series Data）是按照时间顺序采集的一系列观测值，其核心特征在于数据点之间存在时间依赖关系。无论是语音信号、加速度计读数、心电图波形，还是温度传感器输出，它们都共享同一底层结构：每个样本不仅携带自身的数值信息，还隐含了与前后样本的上下文关联。理解这种关联的本质，是设计音频窗口、选择特征提取策略以及构建轻量级时序模型的前提。本章将从时序数据的数学定义出发，剖析其核心特性，梳理嵌入式场景中常见的时序数据类型，并给出从原始信号到可训练模型的完整建模思路。
3.1 时序数据的本质特征与数学描述
时序数据在数学上可以表示为有序序列 \( X = \{x_1, x_2, x_3, ..., x_T\} \)，其中每个 \( x_t \) 是在时间步 \( t \) 的观测值。与独立同分布（i.i.d.）的静态数据不同，时序数据的核心假设是：当前观测值与历史观测值之间存在统计依赖关系。这种依赖关系可以用条件概率 \( P(x_t | x_{t-1}, x_{t-2}, ..., x_1) \) 来描述，而建模的目标就是学习这个条件概率的近似表达。
在实际嵌入式系统中，时序数据表现出几个关键特性，这些特性直接决定了我们如何处理数据：
- 时间依赖性（Temporal Dependency）：语音中的音素过渡、加速度计中的运动连续性，都意味着当前样本与前后样本高度相关。这种依赖可能是短期的（如相邻样本），也可能是长期的（如语音中的语义上下文）。
- 非平稳性（Non-stationarity）：大多数真实世界信号并非统计平稳。例如，说话时音量会变化，人体运动时加速度的均值会漂移。这意味着模型不能依赖固定的全局统计量，而需要关注局部模式。
- 采样率与带宽：采样率决定了时间分辨率。根据奈奎斯特采样定理，采样率必须至少为信号最高频率的两倍。语音通常使用 16kHz，IMU 通常为 50-200Hz，而振动监测可能需要 10kHz 以上。采样率直接影响窗口长度和模型输入维度。
- 多尺度特性：信号中同时存在快速变化的细节（如语音中的辅音）和慢速变化的趋势（如语音中的语调）。有效的建模需要同时捕捉这两种尺度。
- 噪声与异常：传感器噪声、电磁干扰、运动伪影等都会污染信号。时序模型需要具备一定的鲁棒性，或者在预处理阶段进行滤波。
核心理解：在 TFLite Micro 的语境下，时序数据的"定长输入"本质上是对连续信号进行时间窗口化（Windowing）。窗口长度是一个超参数，它决定了模型每次推理所能"看到"的时间跨度。窗口太短会丢失上下文，窗口太长则增加计算量和内存占用。对于 16kHz 的语音，40ms 窗口（640 个采样点）是常用选择；对于 100Hz 的 IMU，1 秒窗口（100 个采样点）可能更合适。
3.2 嵌入式场景中的时序数据分类与特点
在边缘设备上，时序数据主要来自传感器和音频前端。不同类型的信号在采样率、动态范围、数据维度和噪声特性上差异显著，这决定了特征提取和模型设计的策略。下表总结了嵌入式开发中最常见的几类时序数据：
| 数据类型 | 典型采样率 | 维度 | 信号特征 | 典型应用 |
|---|---|---|---|---|
| 语音/音频 | 8k-48kHz | 1通道（单声道） | 短时平稳（20-40ms），频域特征明显 | 关键词唤醒、语音命令识别 |
| IMU（加速度+陀螺仪） | 50-200Hz | 6轴（3加速度+3角速度） | 低频为主，重力分量恒定，运动模式重复 | 活动识别、跌倒检测、姿态估计 |
| 生物电信号（ECG/EEG） | 250-1000Hz | 1-多通道 | 极低频（0.5-100Hz），幅值小（mV级），易受工频干扰 | 心率监测、癫痫检测、睡眠分期 |
| 环境传感器（温湿度/气压） | 0.1-10Hz | 1-3通道 | 变化缓慢，长期趋势重要，噪声低 | 智能家居、农业监测、气象站 |
| 工业振动/声发射 | 10k-100kHz | 1-4通道 | 高频冲击成分，故障特征稀疏但显著 | 预测性维护、异常检测 |
从建模角度看，这些数据可以归为两类：单变量时序（如单通道语音）和多变量时序（如 6 轴 IMU）。多变量时序需要模型同时处理多个通道的同步输入，通道间的相关性（如加速度与角速度的耦合）往往包含重要信息。在 TFLite Micro 中，多变量输入通常被组织为 [时间步, 特征维度] 的二维张量，或者 [通道, 时间步] 的格式，具体取决于模型架构。
3.3 时序数据建模的基本思路与流程
在资源受限的 MCU 上对时序数据建模，需要遵循一条从原始信号到可部署模型的完整链路。这条链路与云端建模有显著差异，核心在于定长输入约束和计算资源限制。以下是嵌入式时序建模的标准流程：
- 信号采集与预处理：以固定采样率采集原始信号，进行去直流、滤波（如高通去除重力分量）、归一化等操作。预处理必须在 MCU 上实时完成，因此算法必须简单且计算量可控。
- 定长窗口切分：将连续信号流切分为固定长度的帧。窗口长度 \( W \) 和滑动步长 \( S \) 是两个关键参数。\( W \) 决定了每次推理的输入大小，\( S \) 决定了推理频率。例如，语音唤醒中常用 40ms 窗口、20ms 步长（即 50% 重叠）。
- 特征提取：将原始采样点转换为更具判别性的特征表示。对于语音，常用梅尔频率倒谱系数（MFCC）或滤波器组能量（Filter Bank）；对于 IMU，常用时域统计特征（均值、方差、过零率）或频域特征（FFT 幅度谱）。特征提取是降低模型输入维度、提升鲁棒性的关键步骤。
- 模型选择与训练：在 PC 端使用 TensorFlow 训练模型。常用的轻量级时序模型包括：一维 CNN（捕捉局部模式）、GRU/LSTM（捕捉长期依赖）、TCN（时间卷积网络）。训练时需要模拟 MCU 上的输入格式，确保模型输入张量形状与部署时一致。
- 量化与转换：使用 TensorFlow Lite Converter 将模型转换为 TFLite 格式，并执行 8-bit 量化（或 16-bit 量化）以减小模型体积和推理延迟。量化会引入精度损失，需要在训练时考虑量化感知训练（QAT）。
- MCU 部署与验证：将量化后的 TFLite 模型转换为 C++ 字节数组，集成到 TFLite Micro 运行时中。在目标硬件上进行实时推理，验证延迟、内存占用和精度是否满足要求。
经验提醒：在嵌入式时序建模中，窗口长度的选择往往比模型架构更重要。一个经验法则是：窗口应至少覆盖信号的一个完整"周期"或"事件"。例如，步态识别中，一个步态周期约为 1-1.5 秒，因此窗口长度不应小于 1 秒。对于语音命令"Hey Google"，整个词组的时长约 0.8 秒，窗口长度应覆盖完整词组。
3.4 案例拆解：基于 IMU 的人体活动识别（HAR）
为了将上述概念具体化，我们以一个典型的嵌入式时序建模任务——人体活动识别（Human Activity Recognition, HAR）为例，完整走一遍建模流程。该案例展示了从原始传感器数据到 TFLite Micro 部署的完整闭环。
背景与约束：目标设备是一块基于 Cortex-M4F 内核的 MCU，主频 80MHz，拥有 256KB RAM 和 1MB Flash。需要实时识别三种活动：静止、行走、跑步。传感器为 6 轴 IMU（加速度+陀螺仪），采样率固定为 50Hz。
初始现象与目标：原始 IMU 数据直接输入模型时，由于数据维度高（6 通道 × 50Hz = 300 个数值/秒），模型参数量大，推理延迟超过 200ms，无法满足实时性要求。目标是将推理延迟控制在 50ms 以内，同时保持分类准确率不低于 90%。
关键输入数据与参数：
- 采样率：50Hz，即每 20ms 产生一组 6 维数据
- 窗口长度：2 秒（100 个时间步），覆盖完整的步态周期
- 滑动步长：1 秒（50 个时间步），即每秒推理一次
- 原始输入维度：100 时间步 × 6 通道 = 600 个浮点数
分析判断过程：直接使用 600 维输入训练一个全连接网络，参数量约为 600×128+128×3 ≈ 78K，在 MCU 上需要约 300KB 内存，超出限制。同时，原始时域信号包含大量冗余信息（如重力分量、噪声），直接输入会降低模型鲁棒性。
实际操作步骤：
// 特征提取策略：对每个窗口提取时域+频域特征
// 1. 对每个通道计算：均值、方差、过零率、峰峰值
// 2. 对加速度幅值计算 FFT，取前 8 个频段的能量
// 3. 最终特征向量维度：6通道×4时域特征 + 8频段能量 = 32 维
// 模型输入：1×32 特征向量（每窗口）
// 模型结构：Dense(32→16, ReLU) → Dense(16→3, Softmax)
// 参数量：32×16 + 16×3 = 560 个参数，量化后仅 560 字节结果对比：
| 方案 | 输入维度 | 模型参数量 | 推理延迟 | 内存占用 | 准确率 |
|---|---|---|---|---|---|
| 原始时域信号 | 600 | 78K | 210ms | 312KB | 91% |
| 特征工程+轻量模型 | 32 | 560 | 8ms | 4.2KB | 93% |
风险与代价：特征工程需要领域知识，且手工设计的特征可能无法捕捉所有判别信息。在本案例中，特征提取增加了约 3ms 的预处理时间，但整体延迟仍远低于 50ms 的目标。此外，特征提取代码需要针对 MCU 进行定点化优化，避免浮点运算。
复盘经验：对于资源受限的 MCU，特征工程是时序建模的第一优先级优化手段。通过将 600 维原始数据压缩为 32 维特征，模型大小降低了 99.3%，推理延迟降低了 96.2%，同时准确率反而提升了 2 个百分点。这说明合理的特征提取不仅能解决资源问题，还能提升模型泛化能力。
3.5 常见误区与总结复盘
在嵌入式时序数据建模中，开发者常犯以下几类错误，这些错误往往导致模型在 PC 上表现良好，但部署到 MCU 后性能急剧下降：
误区一：忽视窗口重叠的作用。窗口重叠（Overlap）可以平滑相邻窗口间的预测结果，减少因窗口边界导致的分类抖动。例如，在 HAR 中，如果窗口不重叠，一个动作恰好被切分到两个窗口边界时，两个窗口都可能分类错误。采用 50% 重叠后，可以通过投票或平均概率来稳定输出。
误区二：在 PC 端使用与 MCU 不同的采样率或预处理流程。训练时的数据 pipeline 必须与部署时完全一致。如果在训练时使用了 16kHz 的语音，但 MCU 实际采集的是 8kHz，模型性能会大幅下降。必须在训练前就确定目标采样率，并在整个链路中保持一致。
误区三：忽略量化对时序特征的影响。8-bit 量化会将浮点特征映射到 0-255 的整数范围。对于动态范围较大的信号（如语音），量化误差可能显著。建议在训练时使用量化感知训练（QAT），并在量化后验证每个中间层的输出分布。
误区四：将时序数据当作静态数据独立处理。有些开发者将每个时间步的样本独立输入模型，忽略了时间依赖关系。这会导致模型无法捕捉动态模式，准确率大幅下降。正确的做法是始终以窗口为单位进行输入。
总结：时序数据建模的核心在于理解时间依赖、选择合适的窗口策略、提取有效的特征，并在资源约束下设计轻量级模型。对于 TFLite Micro 而言，定长输入处理是连接原始信号与模型推理的桥梁。掌握本章的时序数据基础，是后续学习音频窗口设计、特征提取和模型部署的基石。在实际项目中，建议开发者先明确信号的物理特性（采样率、带宽、动态范围），再确定窗口参数，最后进行特征工程和模型选型，这样才能构建出高效、鲁棒的嵌入式时序应用。