多输入模型概念：多输入张量定义、输入形状与数据类型、数据对齐与同步

在TFLite Micro的部署场景中，多输入模型并非简单地将多个张量拼接在一起，而是涉及传感器融合、时间同步、内存布局和推理调度等多个维度的系统工程。理解多输入模型的核心概念，是掌握传感器融合模型导出方法的前提。本章将系统梳理多输入张量的定义、形状与数据类型约束、与单输入模型的本质差异，以及在实际嵌入式系统中必须面对的数据对齐与同步问题。

3.1 多输入张量的定义与本质

多输入模型是指神经网络模型在推理时接受两个或两个以上独立张量作为输入。在TFLite Micro的上下文中，每个输入张量都对应一个独立的TensorFlow Lite Tensor对象，拥有自己的名称、形状、数据类型和量化参数。与单输入模型不同，多输入模型不是将多个数据源拼接成一个更大的张量，而是保持每个数据源的独立语义和维度结构。

从底层实现来看，TFLite Micro的模型解释器通过tflite::MicroInterpreter维护一个输入张量数组。每个输入张量在内存中占据独立的连续缓冲区，通过input_tensor(index)接口访问。这种设计使得不同传感器数据可以保持各自的采样频率、时间窗口和物理单位，而无需强制统一到相同的维度空间。

多输入张量的定义在模型转换阶段就已确定。使用TensorFlow Keras Functional API或tf.lite.TFLiteConverter时，开发者需要明确指定每个输入层的名称和形状。转换后的.tflite文件中，每个输入张量都包含完整的元数据，包括名称、形状、数据类型和量化参数。在TFLite Micro端，这些元数据被解析并用于分配内存和验证输入数据。

3.2 输入形状与数据类型约束

在TFLite Micro中，输入张量的形状和数据类型必须在模型转换时固定，且推理时不能动态改变。这与TensorFlow Lite的完整版不同——TFLite Micro不支持动态形状（shape = -1），所有维度必须是具体数值。这一约束对多输入模型尤为重要，因为每个输入张量都需要在编译时确定其内存占用。

形状定义通常遵循[batch, time_steps, channels]或[batch, height, width, channels]的格式。对于传感器融合场景，最常见的形状是[1, window_size, num_axes]，其中window_size是滑动窗口的长度，num_axes是传感器轴数（如加速度计为3）。不同传感器可以使用不同的window_size，但通常为了简化对齐，会统一到相同的窗口长度。

// TFLite Micro中获取输入张量信息的典型代码
for (int i = 0; i < interpreter->inputs_size(); i++) {
  TfLiteTensor* input = interpreter->input_tensor(i);
  printf("Input %d: name=%s, type=%d, dims=%d\n",
         i, input->name, input->type, input->dims->size);
  for (int d = 0; d < input->dims->size; d++) {
    printf("  dim[%d] = %d\n", d, input->dims->data[d]);
  }
}

数据类型方面，TFLite Micro支持float32、int8、uint8和int16等类型。多输入模型允许不同输入使用不同数据类型，但实际部署中建议尽量统一，以减少转换开销。例如，如果加速度计数据范围是±16g，可以量化为int8；而磁力计数据范围较小，可能更适合float32。但混合类型会增加预处理代码的复杂度，且可能影响推理性能。

3.3 与单输入模型的差异分析

多输入模型与单输入模型的差异不仅体现在张量数量上，更体现在整个数据处理链路和推理流程中。理解这些差异有助于开发者避免将单输入模型的思维惯性错误地套用到多输入场景。

数据流差异：单输入模型的数据流是线性的——传感器数据经过预处理后直接填充到唯一的输入张量中。多输入模型则要求每个输入张量独立准备，且各数据流之间需要保持时间一致性。这意味着预处理代码需要并行处理多个数据源，并在填充输入张量前完成对齐。

内存布局差异：单输入模型只需分配一个输入缓冲区，而多输入模型需要为每个输入分配独立缓冲区。在内存受限的MCU上，这可能导致内存碎片化或总内存占用过高。开发者需要仔细规划缓冲区大小，并考虑使用静态分配或内存池技术。

推理调度差异：单输入模型在推理前只需检查一个输入是否就绪，而多输入模型必须等待所有输入都准备好才能启动推理。这引入了同步开销，尤其是在不同传感器采样率不一致时。例如，加速度计100Hz、磁力计50Hz，如果窗口长度为1秒，则加速度计需要100个样本，磁力计只需50个样本，但推理必须等待两者都填满窗口。

错误处理差异：单输入模型的数据异常通常只影响一个输入通道，而多输入模型中某个传感器故障可能导致整个推理结果不可靠。因此，多输入系统需要更健壮的异常检测和降级策略，例如在某个传感器失效时使用历史数据或默认值填充。

3.4 数据对齐与同步问题

数据对齐与同步是多输入模型部署中最具挑战性的工程问题。传感器数据来自不同的硬件模块，具有不同的采样时钟、启动延迟和中断优先级，如果不进行对齐，模型输入的时间戳将不一致，导致推理结果失真。

时间戳对齐：每个传感器样本都应带有时间戳。在MCU上，通常使用一个全局定时器（如SysTick）作为时间基准。当传感器中断触发时，记录当前定时器值作为时间戳。对齐算法需要将不同传感器的样本映射到统一的时间轴上，常用的方法包括最近邻插值、线性插值和样条插值。

采样率匹配：当传感器采样率不同（如加速度计100Hz、陀螺仪100Hz、磁力计50Hz），需要将高采样率数据降采样或低采样率数据升采样。降采样通常使用抽取或均值滤波，升采样使用插值。在TFLite Micro中，由于计算资源有限，推荐使用简单的线性插值或最近邻插值。

滑动窗口同步：多输入模型通常使用滑动窗口处理时间序列数据。窗口的起始和结束时间必须对所有输入一致。例如，窗口长度为1秒，步长为0.5秒，则所有输入张量都覆盖相同的时间范围。实现时，可以使用环形缓冲区为每个传感器维护数据队列，当所有队列都包含足够的数据时，从每个队列中提取窗口数据填充输入张量。

3.5 案例拆解：IMU传感器融合模型的多输入实现

以一个典型的IMU姿态估计模型为例，该模型融合加速度计、陀螺仪和磁力计数据，输出四元数姿态。模型输入为三个张量：accel_input形状[1, 100, 3]、gyro_input形状[1, 100, 3]、mag_input形状[1, 50, 3]，数据类型均为float32。

初始现象与目标：在STM32F411（Cortex-M4F，128KB RAM）上部署该模型时，发现推理结果频繁出现姿态漂移，且系统偶尔卡死。目标是在不增加硬件成本的前提下，通过优化数据对齐逻辑解决漂移问题，并确保系统稳定运行。

关键数据与参数：

• 加速度计：BMI160，采样率100Hz，量程±4g
• 陀螺仪：BMI160，采样率100Hz，量程±2000dps
• 磁力计：MAG3110，采样率50Hz，量程±1000μT
• 窗口长度：1秒（加速度计100样本，磁力计50样本）
• 推理频率：10Hz（每100ms推理一次）

分析判断过程：通过调试发现，磁力计采样率较低，导致其窗口数据比加速度计和陀螺仪晚约20ms填满。原始代码在任一输入窗口填满后立即推理，导致磁力计数据实际覆盖的时间范围与加速度计不一致，产生时间偏移。此外，磁力计数据未进行时间戳校准，直接使用其内部FIFO的读取顺序，进一步加剧了错位。

实际操作步骤：

1. 为每个传感器建立独立的环形缓冲区，缓冲区大小设为窗口长度的2倍，以容忍采样抖动。
2. 使用全局SysTick定时器（1ms分辨率）为每个样本打时间戳。
3. 实现线性插值函数，将磁力计数据从50Hz插值到100Hz，使其与加速度计/陀螺仪时间轴对齐。
4. 修改推理触发逻辑：仅当所有缓冲区的最新样本时间戳与最旧样本时间戳之差≥1秒时，才提取窗口数据并触发推理。
5. 在提取窗口数据时，以加速度计的最新样本时间戳为基准，反向查找磁力计和陀螺仪对应时间点的插值样本。

结果对比：优化后，姿态漂移从平均5°/分钟降低到0.5°/分钟以内，系统卡死现象完全消失。推理频率稳定在10Hz，CPU占用率从85%降至60%，内存占用增加约4KB（用于插值缓冲区）。

风险与代价：线性插值在传感器数据剧烈变化时可能引入轻微误差，但在姿态估计场景中影响可忽略。增加的时间戳管理代码增加了约200行C代码，需要额外的调试时间。

复盘经验：多输入模型的数据对齐必须在系统设计阶段就纳入考虑，而不是在部署后补救。建议在硬件抽象层（HAL）中统一封装传感器驱动，提供带时间戳的数据读取接口，从源头保证数据同步。

3.6 常见误区与总结复盘

在多输入模型的开发与部署中，以下误区值得特别警惕：

• 误区一：认为多输入模型只是多个单输入模型的简单叠加。实际上，多输入模型需要额外的同步机制和内存管理，其复杂度远高于单输入模型。
• 误区二：忽略不同传感器之间的时钟漂移。即使所有传感器标称采样率相同，实际晶体振荡器的误差也会导致长时间运行后的累积偏移。需要定期重新对齐或使用PLL同步。
• 误区三：在模型转换时未指定输入形状。这可能导致转换后的模型使用动态形状，而TFLite Micro不支持动态形状，导致加载失败。
• 误区四：将所有输入数据强制转换为同一数据类型。虽然简化了代码，但可能损失精度或增加不必要的转换开销。应根据每个传感器的物理范围和精度要求选择合适的数据类型。
• 误区五：在中断服务函数中直接填充输入张量。中断上下文不适合执行复杂的数据处理，应使用双缓冲或消息队列将数据传递到主循环处理。

总结而言，多输入模型是传感器融合应用的基础，其核心挑战在于数据对齐与同步。开发者需要从系统层面理解每个输入张量的语义、形状和数据类型约束，并设计健壮的数据流管道。在TFLite Micro的约束下，静态内存分配、固定形状和确定性调度是成功部署的关键。通过合理的时间戳管理、插值算法和缓冲区设计，可以在资源受限的MCU上实现稳定高效的传感器融合推理。