4、多输入模型特性：多输入模型的定义、常见结构（多模态、多分支、多特征融合）及在端侧的资源消耗特点

在Edge AI的实际部署中，单一输入模型（如单张图片分类、单段语音识别）往往难以应对复杂的物理世界感知任务。一辆智能驾驶汽车需要同时处理摄像头图像、激光雷达点云和毫米波雷达信号；一个工业质检系统需要融合产品的外观图像、振动频谱和温度曲线；一个健康监测设备则需要同步分析心电、血氧和加速度数据。这些场景的共同特征是：模型必须接受多个来源、多种模态或多种维度的输入，才能做出准确判断。这类模型即“多输入模型”。本章将系统定义多输入模型，剖析其常见结构，并重点分析其在端侧部署时区别于单输入模型的资源消耗特点，为后续量化方案设计奠定基础。

4.1 多输入模型的定义与本质特征

多输入模型（Multi-Input Model）是指模型的前向推理过程中，需要同时接收两个或两个以上独立输入张量（Tensor），并在网络内部通过特定机制将这些输入的信息进行融合，最终产生一个或多个输出的神经网络模型。与单输入模型相比，多输入模型的本质差异不在于“参数数量更多”，而在于数据流拓扑结构发生了根本变化——从单一的线性数据流变为多路并行、交汇融合的复杂数据流。

从工程实现角度看，多输入模型具有三个核心特征：

• 输入张量异构性：不同输入分支的数据维度、数据类型、数值范围、采样频率往往完全不同。例如视觉分支输入为 [1, 3, 224, 224] 的 uint8 图像，而惯性测量单元（IMU）分支输入为 [1, 6, 100] 的 float32 时间序列。这种异构性直接影响了量化参数的选择——不同分支可能需要不同的零点（Zero Point）和缩放因子（Scale）。
• 分支计算独立性：在融合层之前，各输入分支通常由独立的 Backbone 网络处理，这些 Backbone 之间没有数据依赖，理论上可以并行计算。但在端侧芯片上，这种并行性受限于硬件资源（如 NPU 核心数、DSP 通道数），实际执行时往往需要串行调度。
• 融合点信息交互：融合层是多输入模型的核心枢纽，其设计方式（拼接、相加、注意力加权等）直接决定了模型精度和计算开销。融合点的位置（早期融合、中期融合、晚期融合）也深刻影响着端侧内存峰值和延迟表现。

4.2 多输入模型的常见结构类型

根据输入数据的模态属性和融合方式，端侧常见的多输入模型可归纳为以下三种结构类型。理解这些结构类型是进行资源评估和量化方案设计的前提。

4.2.1 多模态融合结构（Multi-Modal Fusion）

多模态融合结构是最典型的多输入模型，其输入来自不同物理传感器或不同数据模态。例如，自动驾驶中的“摄像头图像 + 激光雷达点云”、医疗诊断中的“CT影像 + 电子病历文本”、智能家居中的“麦克风语音 + 摄像头画面”。这类结构的核心特点是模态间信息互补性强，但数据分布差异极大。

在端侧部署中，多模态模型面临的最大挑战是数据同步与对齐。不同传感器的采样频率不同（如摄像头 30fps、IMU 200Hz），在推理时需要将多路数据在时间轴上对齐。此外，不同模态的数据通常由不同的硬件接口（MIPI-CSI、I2C、SPI、UART）采集，在内存中可能位于不同的物理区域，增加了数据搬运的复杂度。

4.2.2 多分支结构（Multi-Branch）

多分支结构通常指输入数据来自同一模态，但通过多个不同结构或不同感受野的子网络分别提取特征，再融合得到最终结果。典型案例如：双流网络（Two-Stream Network）中的空间流与时间流、多尺度特征提取网络（不同分辨率的输入分支）、以及姿态估计中的全局分支与局部分支。

多分支结构的端侧资源消耗特点在于：各分支的输入尺寸可能不同（如一个分支输入 224×224，另一个分支输入 112×112），导致各分支的计算量和内存占用差异悬殊。在量化时，小分辨率分支对量化误差的敏感度通常更高，因为其特征图尺寸小，每个像素的信息密度更大。

4.2.3 多特征融合结构（Multi-Feature Fusion）

多特征融合结构是指模型接受多个不同层次或不同来源的特征输入，而非原始数据。这种结构常见于特征金字塔网络（FPN）、注意力增强网络以及知识蒸馏中的教师-学生架构。例如，一个目标检测模型可能同时接收来自 Backbone 的浅层高分辨率特征和深层低分辨率特征作为输入。

多特征融合结构的特殊性在于：输入已经是经过量化的中间特征图（Feature Map），而非原始数据。这意味着输入数据的数值分布已经经过了非线性激活函数的“塑形”，其分布特性与原始图像或信号有显著差异。在端侧部署时，需要针对特征图的统计特性（如均值、方差、动态范围）重新校准量化参数。

4.3 多输入模型在端侧的资源消耗特点

多输入模型在端侧（如手机 SoC、边缘计算盒、MCU+NPU 平台）的资源消耗，不能简单地用“参数量 × 位宽”来估算。其资源消耗呈现出以下四个显著特点，这些特点直接决定了量化方案的设计策略。

4.3.1 峰值内存的“叠加效应”

单输入模型的内存占用曲线通常是“先升后降”的单一波峰，而多输入模型由于多个分支并行计算，其内存占用曲线会出现多个波峰叠加的现象。以双分支模型为例：当两个分支的 Backbone 同时在前向传播时，两个分支的中间激活值（Activation）同时驻留在内存中，峰值内存约为两个分支独立运行时的峰值之和，再叠加融合层的额外缓冲。

在量化方案设计中，这种叠加效应意味着：即使每个分支单独量化后内存占用都达标，但合并运行时仍可能超出端侧芯片的 SRAM 或 L2 Cache 容量。此时，需要采用“逐分支量化 + 融合层重量化”的策略，甚至考虑将部分分支的激活值降为 4-bit 以压缩峰值内存。

4.3.2 计算调度的“串行化惩罚”

理论上，多输入模型的多个分支可以并行计算，充分利用端侧芯片的多核 NPU 或 DSP。但在实际部署中，由于以下原因，并行往往难以实现：

• 共享总线带宽：多个分支同时访问 DDR 会争抢总线带宽，导致有效吞吐量下降。
• NPU 核心资源有限：大多数端侧 NPU 只有 1-2 个计算核心，无法同时执行多个分支的卷积运算。
• 内存带宽不匹配：不同分支的数据位宽不同（如一个分支是 int8，另一个是 float16），NPU 无法在同一个时钟周期内处理混合精度的计算。

因此，多输入模型在端侧的实际执行往往是串行调度的。这意味着总延迟 ≈ 各分支延迟之和 + 融合层延迟，而非各分支延迟的最大值。在量化时，需要特别关注“计算密集分支”的量化精度，因为该分支的延迟占比最大，其量化误差对整体精度的影响也最显著。

4.3.3 数据搬运的“带宽放大”

多输入模型的数据搬运量远高于单输入模型。除了各输入数据本身的搬运外，还有以下额外开销：

1. 多路输入采集：每个输入源都需要独立的 DMA 通道搬运数据到 NPU 的输入缓冲区。
2. 中间特征交换：如果融合层不在 NPU 内部完成，需要将各分支的输出特征搬运到 CPU 或共享内存进行融合，再搬运回 NPU。
3. 量化参数切换：不同分支使用不同的量化参数（Scale/ZeroPoint），NPU 在切换分支时需要重新加载量化参数表，增加了控制开销。

在量化方案中，可以通过统一量化参数（即所有分支共享相同的 Scale 和 ZeroPoint）来减少参数切换开销，但这可能牺牲部分分支的量化精度。另一种策略是融合层前移，在 NPU 内部完成特征融合，避免中间数据往返搬运。

4.3.4 融合层的“计算与精度双重瓶颈”

融合层是多输入模型特有的计算单元，其计算量虽然通常小于 Backbone，但在端侧却可能成为瓶颈：

• 拼接（Concat）操作：不涉及乘加运算，但需要大量内存拷贝，对内存带宽要求高。
• 逐元素相加（Add）：计算量小，但要求两个分支的特征图尺寸、通道数完全一致，否则需要额外的对齐操作。
• 注意力融合（Attention）：计算量较大，且涉及 Softmax 等非线性操作，在低比特量化下精度损失明显。

从量化角度看，融合层是误差传播的“汇聚点”。各分支的量化误差在融合层被混合，如果融合操作是相加，则误差线性叠加；如果是拼接，则误差在通道维度上并列，后续卷积层会同时感知到不同精度的特征。因此，融合层的量化位宽选择需要格外谨慎，通常建议融合层保持较高的位宽（如 int16 或 float16），或者采用混合精度量化。

4.4 案例拆解：双模态人体活动识别模型的资源评估

为更具体地说明多输入模型的资源消耗特点，以下通过一个完整的案例进行分析。该案例基于实际部署经验，但数据经过脱敏和简化处理。

背景与约束：某可穿戴设备需要实现人体活动识别（走路、跑步、上下楼、静止），设备搭载一颗 Cortex-M7 内核（主频 480MHz）和一颗轻量级 NPU（算力 0.5 TOPS，支持 int8/int16 混合精度）。内存资源：SRAM 512KB，外部 PSRAM 8MB。功耗约束：平均功耗 < 50mW。

模型结构：采用双分支多输入模型——分支 A 处理加速度计数据（三轴，采样率 50Hz，窗口 2 秒，输入形状 [3, 100]），使用 3 层 1D-CNN；分支 B 处理陀螺仪数据（三轴，采样率 50Hz，窗口 2 秒，输入形状 [3, 100]），使用 2 层 LSTM。融合层采用 Concat 后接全连接层，输出 4 类活动标签。

初始现象与目标：模型在 PC 上使用 float32 推理精度为 94.2%。部署到端侧后，直接使用 int8 量化，精度降至 88.5%，且峰值内存达到 620KB，超出 SRAM 容量，导致频繁的 PSRAM 访问，功耗超标。

关键数据与指标：

分析判断过程：

1. 内存瓶颈定位：LSTM 分支的激活值峰值高达 96KB（float32），int8 量化后降至 24KB，但两个分支的激活值同时驻留时，加上融合层缓冲，总峰值仍达 620KB（float32）→ 155KB（int8）。虽然 int8 后已低于 512KB SRAM，但 LSTM 的循环状态（Cell State）必须保持 float32 精度，否则时序记忆会快速衰减。
2. 精度瓶颈定位：通过逐分支量化实验发现，将 LSTM 分支量化为 int8 后，精度下降 4.1%；而将 1D-CNN 分支量化为 int8 后，精度仅下降 1.6%。说明 LSTM 分支对量化更敏感。
3. 延迟瓶颈定位：LSTM 分支的延迟占比 55%，主要因为 LSTM 的循环计算无法充分利用 NPU 的并行能力，大量操作在 CPU 上串行执行。

实际操作步骤：

// 量化方案调整伪代码
// 1. 分支 A（1D-CNN）：使用 int8 量化，per-tensor 校准
branch_a.quantize(mode='int8', calibration='minmax', per_channel=False)

// 2. 分支 B（LSTM）：使用混合精度
//    - 输入门/遗忘门/输出门：int8 量化
//    - Cell State 更新路径：保持 float16
//    - 隐藏状态传递：int16 量化
branch_b.quantize(mode='mixed', 
                  gate_precision='int8', 
                  cell_state='float16', 
                  hidden_state='int16')

// 3. 融合层：保持 int16 累加，避免误差叠加
fusion_layer.quantize(mode='int16_accum', output_precision='int8')

// 4. 内存优化：将 LSTM 的 Cell State 固定在 SRAM 中
//    将 1D-CNN 的中间激活值流式写入 PSRAM（仅访问一次）
memory_alloc.place('lstm_cell_state', region='sram', size='4KB')
memory_alloc.place('cnn_activations', region='psram', streaming=True)

结果对比：

• 精度：从 88.5%（全 int8）提升至 92.8%，接近 float32 的 94.2%。
• 峰值内存：从 620KB（float32）降至 168KB（混合精度），满足 SRAM 512KB 约束。
• 延迟：从 38ms 降至 21ms（LSTM 分支的 int8 门控计算加速明显）。
• 功耗：从 68mW 降至 41mW，满足 50mW 约束。

风险与代价：混合精度方案增加了量化实现的复杂度，需要 NPU 支持在同一模型中切换 int8/int16/float16 计算模式。此外，LSTM 的 float16 Cell State 在极端输入下可能出现数值溢出，需要额外的数值裁剪（Clipping）操作。

复盘经验：多输入模型的量化不能“一刀切”地统一位宽。正确的流程是：先做逐分支敏感性分析，再根据端侧硬件能力（NPU 支持的精度模式、SRAM 容量、总线带宽）设计混合精度方案，最后通过内存复用和流式计算优化峰值占用。

4.5 多输入模型资源评估的常见误区与总结

在实际项目中，工程师对多输入模型的资源评估常陷入以下误区，需要特别警惕：

总结复盘：多输入模型在端侧的资源消耗具有“叠加性、串行性、带宽敏感性和融合耦合性”四大特点。在进行资源评估时，应遵循以下步骤：

1. 结构拆解：将模型拆分为各输入分支、融合层、输出头，分别统计参数量、计算量（MACs）、激活值峰值。
2. 内存建模：绘制各阶段的内存占用曲线，识别峰值叠加点，确定是否需要流式计算或内存复用。
3. 敏感性分析：逐分支进行量化敏感性测试，确定各分支的“精度-位宽”曲线，找出量化瓶颈分支。
4. 混合精度设计：根据硬件支持的精度模式和内存约束，为不同分支分配不同的量化位宽。
5. 联合校准与验证：使用代表端侧真实数据分布的校准集，进行联合量化校准，并在端侧硬件上验证实际精度、延迟和功耗。

多输入模型的量化是 Edge AI 部署中最具挑战性的任务之一，但也是收益最大的优化方向。通过精细的资源评估和差异化的量化策略，可以在有限的端侧资源上实现接近浮点精度的推理性能，为多模态感知应用提供可靠的部署基础。