2、基础知识：多模态数据与特征表示、Edge AI环境约束（算力、内存、功耗）对模型设计的影响
Edge AI融合模型的设计起点，并非网络结构本身，而是对“输入数据形态”与“物理运行环境”的双重理解。多模态数据（图像、音频、IMU、毫米波雷达点云等）在特征空间中的分布、尺度、采样率与语义粒度差异巨大；而边缘设备的算力（通常为0.5~10 TOPS）、内存（通常为256MB~4GB）、功耗（通常为0.5W~10W）又对模型容量、算子类型与数据流方式施加了硬性约束。本章将系统梳理多模态特征表示的基本方法，并量化分析Edge AI环境约束如何反向决定融合模型的结构选择——是早期拼接、后期决策，还是引入注意力机制进行动态加权。
2.1 多模态数据的特征表示：从原始信号到可融合的张量
多模态融合的第一步，是将物理世界中形态各异的信号转换为深度学习模型可处理的张量表示。图像数据通常以 RGB 或灰度矩阵形式存在，形状为 [C, H, W]（通道数、高度、宽度），经过卷积神经网络（CNN）提取后得到空间特征图；音频数据经梅尔频谱变换后形成 [T, F] 的时频矩阵，再通过循环神经网络（RNN）或 Transformer 编码为时序特征；IMU 数据则是 [T, 6] 或 [T, 9] 的加速度与角速度序列；毫米波雷达点云则需先投影为鸟瞰图（BEV）或体素网格，才能与图像特征对齐。
特征表示的核心矛盾在于异构性：不同模态的特征维度、采样频率、数值范围与语义粒度差异巨大。例如，图像特征图的空间分辨率可能是 32×32×256，而音频特征的时间步长可能只有 16 帧；图像像素值在 [0, 255] 区间，而 IMU 数据经过归一化后通常在 [-1, 1] 之间。若直接拼接这些特征，模型将难以学习到有效的跨模态关联。因此，特征表示阶段通常需要执行以下操作：
- 维度对齐：通过全局平均池化（GAP）或 1×1 卷积将不同模态的特征图压缩到相同维度；
- 时间对齐：对音频或 IMU 序列进行插值或裁剪，使其与视频帧率匹配；
- 归一化：采用 BatchNorm 或 LayerNorm 消除不同模态的数值尺度差异；
- 嵌入映射：使用独立的编码器（如 CNN、LSTM、MLP）将各模态原始特征映射到共享的语义空间。
2.2 Edge AI 环境约束：算力、内存与功耗的量化分析
Edge AI 设备（如手机 SoC、树莓派、Jetson Nano、MCU+NPU 组合）的硬件资源远不如云端 GPU 充裕。以典型的中端边缘设备为例：算力约为 1~4 TOPS（INT8），内存带宽为 10~30 GB/s，可用 RAM 为 1~4 GB，功耗预算为 2~10 W。这些约束对模型设计的影响是决定性的——一个在云端精度达到 90% 的融合模型，若直接部署到边缘设备，可能因内存溢出或推理延迟过高而完全不可用。
| 资源维度 | 典型边缘设备范围 | 对模型设计的影响 | 应对策略 |
|---|---|---|---|
| 算力（TOPS） | 0.5 ~ 10 | 限制卷积核数量、网络深度与注意力头数 | 使用深度可分离卷积、通道剪枝、低秩分解 |
| 内存（MB） | 256 ~ 4096 | 限制模型权重总量与激活值占用 | INT8/INT4 量化、权重共享、激活值重计算 |
| 功耗（W） | 0.5 ~ 10 | 限制连续推理时长与峰值频率 | 动态电压频率调整（DVFS）、模型分时调度 |
| 内存带宽（GB/s） | 10 ~ 30 | 限制特征图搬运速度，影响融合效率 | 算子融合、内存复用、减少中间张量 |
以内存为例，一个 5 MB 的 INT8 量化模型，在推理时还需要额外的激活值缓冲区。假设输入图像为 224×224×3，经过第一层卷积后特征图为 112×112×32，占用约 400 KB；若网络有 20 层，峰值激活值可能达到 2~4 MB。因此，模型设计时必须精确计算“权重 + 激活 + 中间缓冲”的总内存占用，确保不超过设备可用 RAM 的 70%，以留出操作系统与其他进程的空间。
2.3 融合位置与硬件约束的匹配：早期、后期与注意力机制
融合位置的选择直接决定了模型的计算量与内存访问模式。早期融合（特征级融合）在网络的浅层将多模态特征拼接或相加，后续所有层都处理融合后的特征。这种方式的优点是参数共享、语义交互充分，但缺点是融合后的特征维度较高，导致计算量激增。例如，将 32 通道的图像特征与 16 通道的音频特征拼接为 48 通道，后续卷积的参数量将增加 50%。在算力受限的设备上，早期融合往往需要配合通道剪枝或低秩近似。
后期融合（决策级融合）则让各模态独立通过各自的骨干网络，在最后阶段对分类得分或回归结果进行加权平均或投票。这种方式的优点是各模态可以独立优化、并行计算，且计算量较低——因为每个模态的骨干网络可以设计得更小。但缺点是忽略了模态间的深层交互，精度通常低于早期融合。在功耗受限的场景（如可穿戴设备），后期融合因其低计算量而成为首选。
注意力机制融合则是一种折中方案：通过轻量级的注意力模块（如 SE 模块、多头注意力）动态计算各模态特征的重要性权重，再对特征进行加权求和。这种方式既能捕捉模态间的交互，又不会像早期融合那样显著增加计算量。例如，在 1 TOPS 算力的设备上，可以在融合前添加一个 2 层 MLP 的注意力模块，仅增加约 0.1M 参数，却能将精度提升 3~5%。
2.4 实战场景：智能音箱的“语音+IMU”唤醒融合设计
以一款智能音箱的唤醒词检测为例，设备搭载 0.8 TOPS 的 NPU、512 MB RAM、功耗预算 1.5 W。原始方案采用早期融合：将 64 维梅尔频谱特征与 6 维 IMU 特征拼接为 70 维输入，送入 3 层 LSTM。实测发现，LSTM 的时序展开导致激活值峰值达到 3.2 MB，加上模型权重 1.8 MB，总内存占用接近 5 MB，且推理延迟达到 180 ms，功耗超标。
分析后确认瓶颈在于 LSTM 的循环依赖无法并行化，且早期融合使输入维度增加，导致 LSTM 单元参数量上升。改进方案改为后期融合：语音分支使用 2 层 CNN（参数量 0.4M），IMU 分支使用 1 层 GRU（参数量 0.1M），两个分支的输出（各 32 维）通过一个 2 层 MLP 注意力模块加权融合，最终送入分类头。改进后模型总参数量降至 0.6M，INT8 量化后权重仅 0.6 MB，激活值峰值降至 1.1 MB，推理延迟降至 65 ms，功耗降至 0.9 W，唤醒精度从 91% 提升至 94%。
复盘经验：后期融合虽然理论上精度上限低于早期融合，但在硬件约束下，通过注意力机制补偿模态交互，反而能获得更好的实际效果。此外，将 LSTM 替换为 CNN/GRU 组合，利用了 CNN 的并行计算优势，显著降低了延迟。
2.5 常见误区与设计复盘
- 误区一：盲目追求高精度融合结构。在边缘设备上，一个 10M 参数的 Transformer 融合模型可能比 2M 参数的 CNN 融合模型精度高 2%，但推理时间却增加 5 倍，功耗增加 3 倍。应根据实时性要求选择合适模型。
- 误区二：忽略内存带宽瓶颈。即使模型权重很小，若融合模块频繁搬运大尺寸特征图，也会因内存带宽不足而拖慢推理速度。建议使用算子融合（如 Conv+BN+ReLU 合并）减少中间张量的读写。
- 误区三：对所有模态统一量化精度。不同模态对量化误差的容忍度不同，建议对图像特征使用 INT8，对 IMU 或雷达特征保留 FP16，或使用混合精度量化。
- 误区四：忽视功耗的累积效应。峰值功耗与平均功耗同样重要。若模型在推理时频繁触发 NPU 高频率运行，可能导致设备过热降频，反而增加延迟。建议在设计中加入“推理-休眠”的调度策略。