3、传感器融合概述：多传感器类型、融合目的、融合层级（数据级/特征级/决策级）

在MCU上运行TinyML模型时，传感器融合（Sensor Fusion）并非简单的数据叠加，而是通过算法将多个异构传感器的信息进行时空对齐与协同处理，从而获得比单一传感器更可靠、更完整的感知结果。对于资源受限的MCU而言，理解传感器融合的层级与目的，直接决定了内存布局、计算调度和模型压缩策略。本章将系统梳理多传感器类型、融合的核心目的，以及数据级、特征级、决策级三种融合层级的技术特点与适用场景，为后续内存优化案例奠定理论基础。

3.1 多传感器类型与感知特性

在TinyML应用中，常见的传感器类型包括惯性测量单元（IMU，含加速度计与陀螺仪）、磁力计、气压计、温湿度传感器、光学传感器（如光流、ToF）、麦克风以及低分辨率摄像头等。这些传感器在物理特性、采样率、数据维度、噪声模型和功耗上差异显著。例如，IMU的加速度计通常以50-200Hz采样，输出3轴线性加速度；陀螺仪输出3轴角速度，但存在温漂和零偏；磁力计易受硬铁/软铁干扰；气压计响应慢但绝对精度高，适合高度估计。

从MCU内存视角看，每种传感器的原始数据缓冲区大小、数据类型（int16、float32）和DMA传输方式都直接影响RAM占用。以6轴IMU为例，若以100Hz采样、每个轴用float32存储，每秒产生 6×100×4 = 2400 字节数据；若缓冲1秒数据，则需要2.4KB RAM。若同时融合磁力计（3轴）和气压计（1轴），原始数据缓冲将线性增长。因此，在设计传感器融合系统时，首先需要明确传感器类型、采样率和数据精度，这是内存规划的第一步。

3.2 传感器融合的核心目的

传感器融合并非为了“炫技”，而是解决单一传感器无法克服的物理局限。其核心目的可归纳为以下四点：

• 互补性融合：利用不同传感器的优势弥补彼此的不足。例如，GPS低频但绝对位置准确，IMU高频但存在积分漂移，二者融合可获得既高频又无漂移的位置估计。
• 冗余性融合：当某个传感器失效或受到干扰时，系统仍能依靠其他传感器维持基本功能。这在无人机、工业机器人等安全关键场景中尤为重要。
• 更丰富的上下文：多传感器数据联合分析可提取单传感器无法获得的语义信息。例如，结合加速度计与麦克风可以识别“敲击”动作的力度与材质。
• 降低不确定性：通过统计方法（如卡尔曼滤波、粒子滤波）对多个噪声源进行建模，融合后的估计方差通常小于任一单一传感器。

在MCU上实现这些目的时，需要权衡计算复杂度与内存开销。例如，扩展卡尔曼滤波（EKF）虽然精度高，但需要维护协方差矩阵（6×6或更大），在RAM紧张的MCU上可能不可行；而互补滤波或简单的加权平均则内存占用极小，适合资源受限场景。

3.3 融合层级：数据级、特征级与决策级

根据融合发生在信号处理链路的哪个阶段，传感器融合可分为三个层级。理解这三个层级的本质区别，是选择TinyML模型架构和内存优化策略的前提。

3.3.1 数据级融合（原始数据层）

数据级融合是最底层的融合方式，直接对多个传感器的原始测量值进行时间对齐和空间对齐后，送入统一的处理流程。在TinyML中，这通常意味着将多个传感器的数据流拼接成一个多通道的“图像”或“时序张量”，作为神经网络的输入。

核心原理：数据级融合保留了最完整的原始信息，理论上信息损失最小。但代价是数据维度高、冗余度大，对MCU的内存带宽和计算能力要求最高。例如，将6轴IMU（6通道）、3轴磁力计（3通道）、气压计（1通道）共10个通道的数据以100Hz采样、每通道float32，则每秒产生 10×100×4 = 4000 字节数据。若神经网络需要1秒的上下文窗口，则输入张量大小为 100×10×4 = 4000 字节（约4KB），这还不包括中间特征图的内存。

MCU实现要点：数据级融合通常需要DMA（直接内存访问）将传感器数据连续搬运到RAM缓冲区，避免CPU中断频繁拷贝。同时，由于输入维度大，第一层卷积或全连接层的权重矩阵也相应增大，Flash占用显著上升。在内存优化时，可考虑将float32降为int16或int8量化，或采用滑动窗口复用缓冲区。

3.3.2 特征级融合（中间层融合）

特征级融合先对每个传感器分别提取特征（如均值、方差、FFT峰值、零交叉率等），然后将这些特征向量拼接或加权组合，再送入分类器或回归模型。这是TinyML中最常用的融合层级，因为它在信息保留和计算开销之间取得了良好平衡。

核心原理：特征提取过程相当于数据压缩，将高维原始数据映射到低维特征空间。例如，对IMU的每个轴提取窗口内的均值、标准差、能量、峰值等5个统计特征，6轴共30个特征；磁力计3轴提取类似特征共15个；气压计提取均值和斜率2个特征。最终融合特征向量维度为47，相比原始数据（假设窗口100个采样点×10通道=1000维）压缩了约20倍。

内存优化视角：特征级融合大幅降低了神经网络输入层的维度，从而减少了第一层权重的Flash占用和激活值的RAM占用。但需要注意，特征提取本身需要额外的计算和临时缓冲区。例如，计算FFT需要分配复数数组，若窗口长度为64，则需要 64×2×2（float32实部+虚部）= 256 字节的临时缓冲区。在MCU上，应尽量复用这些临时缓冲区，避免在每次推理时动态分配。

3.3.3 决策级融合（高层融合）

决策级融合是最高层次的融合，每个传感器（或每个模型）独立进行推理并输出决策结果（如分类标签、置信度分数），然后通过投票、加权平均、贝叶斯规则或另一个轻量级模型（如逻辑回归）对这些决策进行最终裁决。

核心原理：决策级融合的优点是容错性强——某个传感器的模型出错不会影响整体判断。同时，内存占用最低，因为每个模型可以独立运行，不需要同时保存所有传感器的原始数据。例如，一个基于IMU的活动识别模型输出“走路/跑步/静止”的概率分布，另一个基于气压计的模型输出“上楼/下楼/平地”的概率分布，最终通过一个简单的规则表或加权和得到综合活动状态。

MCU实现要点：决策级融合非常适合多模型分时复用MCU的场景。例如，在STM32F4系列上，可以依次加载并运行IMU模型和气压计模型，每次只保留一个模型的权重在Flash中，大幅降低Flash占用。但代价是决策级融合丢失了传感器间的相关性信息，精度通常低于特征级融合。

对比维度	数据级融合	特征级融合	决策级融合
输入维度	高（原始采样点×通道数）	中（特征向量拼接）	低（各模型输出概率）
RAM占用	高（需缓冲原始数据）	中（需特征提取临时区）	低（仅需保存决策结果）
Flash占用	高（大输入层权重）	中（小输入层+特征提取代码）	低（多个小模型或规则表）
信息保留度	最高	中高（取决于特征设计）	中低（丢失相关性）
计算延迟	高（处理大量原始数据）	中（特征提取+小模型）	低（多个小模型并行/串行）
典型MCU场景	高算力MCU（如Cortex-M7）	主流MCU（如Cortex-M4）	低端MCU（如Cortex-M0+）

3.4 案例拆解：基于特征级融合的人体活动识别

为了更直观地理解三种融合层级的差异，我们以一个典型的人体活动识别（HAR）任务为例进行拆解。该任务需要在Cortex-M4内核的MCU（如STM32L4系列，192KB RAM，1MB Flash）上实时识别“静止、走路、跑步、上楼、下楼”五种活动状态。

初始方案与约束：使用6轴IMU（加速度计+陀螺仪）和气压计。IMU采样率50Hz，气压计采样率25Hz。MCU的RAM预算为30KB（留给神经网络和缓冲区），Flash预算为200KB（模型权重+代码）。目标精度≥90%，推理延迟≤50ms。

方案对比分析：

1. 数据级融合方案：将IMU的6通道和气压计的1通道共7通道数据，以50Hz采样、2秒窗口（100个采样点）拼接成 100×7 的输入张量。若使用float32，输入数据为 100×7×4 = 2800 字节。第一层使用3×3卷积，16个滤波器，则第一层权重为 3×3×7×16×4 = 4032 字节，激活图为 98×98×16×4 ≈ 614KB，远超RAM预算。即使采用int8量化，激活图仍约153KB，依然不可行。
2. 特征级融合方案：对每个传感器通道提取窗口内（2秒）的均值、标准差、能量、过零率、最大最小值共5个特征。IMU 6通道×5=30个特征，气压计1通道×5=5个特征，共35维特征向量。输入层权重为 35×32（隐藏层）×4 = 4480 字节，激活值约 32×4 = 128 字节。整个模型（2层全连接+ReLU）权重约15KB，RAM占用约5KB，完全满足约束。实测精度可达92%。
3. 决策级融合方案：分别训练两个独立模型——IMU模型（输入6通道原始数据，使用1D-CNN）和气压计模型（输入气压序列，使用小规模LSTM或统计分类器）。IMU模型权重约40KB，气压计模型权重约10KB。两个模型串行运行，每次只加载一个模型到RAM。总Flash占用50KB，RAM峰值约8KB。但精度仅为87%，因为气压计单独分类能力较弱，且丢失了IMU与气压计之间的相关性。

最终选择与复盘：特征级融合方案在精度、内存、延迟三方面均满足要求，成为最终选择。复盘经验：在MCU上，数据级融合往往因激活图内存爆炸而不可行；决策级融合虽然内存最优，但精度损失可能超过10%；特征级融合是“性价比”最高的方案，但特征工程的质量直接决定上限。此外，特征提取阶段的临时缓冲区（如计算FFT或标准差时的数组）需要精细管理，建议使用静态分配并复用内存池。

3.5 常见误区与总结复盘

在MCU上实施传感器融合时，开发者常陷入以下误区：

• 误区一：盲目追求数据级融合。认为“原始数据信息最全，精度一定最高”。实际上，在MCU内存受限时，数据级融合可能导致模型被迫缩小（减少层数或滤波器数量），反而精度下降。应优先考虑特征级融合。
• 误区二：忽略时间同步。不同传感器的采样时刻不一致，若直接拼接数据，会引入时间错位误差。在MCU上，应使用定时器中断或DMA完成标志来统一时间基准，或采用插值法对齐采样点。
• 误区三：特征越多越好。特征维度过高会增加第一层权重和计算量，且可能引入噪声。建议使用特征选择算法（如基于相关性的筛选）或PCA降维，将特征控制在20-50维。
• 误区四：决策级融合一定最省内存。虽然决策级融合的RAM占用低，但若多个模型串行运行，需要额外的调度代码和模型切换逻辑，Flash占用可能反而增加。且每次切换模型时，需要将权重从Flash重新加载到RAM，增加了延迟。

总结：传感器融合层级的选择是TinyML内存优化的核心决策点。数据级融合适合高算力MCU且对精度有极致要求的场景；特征级融合是MCU上的主流选择，通过合理的特征设计和量化，可在有限内存下达到较高精度；决策级融合适合超低功耗、多模型分时复用的场景。在实际项目中，建议先用特征级融合快速验证可行性，再根据内存余量决定是否升级到数据级或降级到决策级。下一章将深入探讨在选定融合层级后，如何通过模型结构设计和量化进一步压缩内存占用。