📚 课程目录第1章课程导入

课程导入：多输入模型的定义、传感器融合与多模态模型的应用场景

在深度学习工程化落地过程中，我们经常遇到这样的场景：一辆自动驾驶汽车需要同时处理摄像头图像、激光雷达点云和毫米波雷达数据；一个工业质检系统需要融合产品表面的光学照片、红外热成像和振动传感器信号；一个智能医疗辅助诊断系统需要结合CT影像、病理文本报告和基因表达数据。这些系统的共同特征是——它们都不是单一输入模型，而是需要同时接收多种异构数据源，在模型内部完成特征提取、对齐与融合，最终输出决策结果。这类模型在ONNX（Open Neural Network Exchange）框架下被称为多输入模型。本章作为整个课程的开篇，将系统性地定义多输入模型的概念边界，梳理传感器融合与多模态模型的核心应用场景，并明确本课程的学习目标与整体框架，为后续章节中关于ONNX多输入模型转换的实战操作奠定坚实的认知基础。

1.1 多输入模型的定义与本质特征

多输入模型，从工程定义上讲，是指在模型推理时接受两个或两个以上独立输入张量（Tensor）的深度学习模型。这些输入可能来自不同的传感器、不同的数据模态、不同的采样频率或不同的特征空间。与单输入模型相比，多输入模型在ONNX的图结构（Graph）中表现为拥有多个输入节点（Input Node），每个输入节点都有独立的名称、数据类型（如float32、int64）和维度信息（如[batch, channel, height, width]或[batch, seq_len]）。

从模型架构角度看，多输入模型通常遵循"分支提取-融合决策"的设计范式。每个输入分支拥有独立的特征提取网络（如CNN、Transformer、MLP），这些分支在某一层或某几层进行特征融合，融合后的特征再送入后续的决策网络。融合发生的层级决定了模型的融合策略：早期融合（Early Fusion）在输入层直接拼接数据，中期融合（Intermediate Fusion）在特征层进行对齐和组合，晚期融合（Late Fusion）则在决策层对各个分支的输出进行投票或加权。理解融合策略是后续进行ONNX转换时确定模型输入输出接口的基础。

核心要点：在ONNX的语义中，多输入模型与单输入模型的本质区别不在于网络结构的复杂程度，而在于graph.input列表中包含多个ValueInfoProto对象。每个输入都需要在转换时明确指定其名称、数据类型和维度，且这些信息必须与训练时的模型定义完全一致。任何输入名称的错配或维度的不一致，都会导致ONNX Runtime加载模型时抛出"Input name mismatch"或"Dimension mismatch"错误。

1.2 传感器融合与多模态模型的应用场景

传感器融合（Sensor Fusion）和多模态学习（Multimodal Learning）是驱动多输入模型需求的两大核心动力。传感器融合主要出现在物理世界的感知系统中，而多模态学习则更多出现在人机交互和内容理解场景中。下表梳理了典型的应用场景及其输入数据特征：

应用领域	输入模态	数据特征	融合目的
自动驾驶感知	摄像头 + 激光雷达 + 毫米波雷达	图像（密集、纹理丰富）、点云（稀疏、深度精确）、雷达（速度、全天候）	互补感知，提升目标检测与跟踪的鲁棒性
工业视觉质检	可见光图像 + 红外热像 + 振动信号	表面缺陷（光学）、温度异常（热像）、机械磨损（振动）	多维度判断产品缺陷类型与严重程度
智能医疗辅助诊断	CT/MRI影像 + 电子病历文本 + 基因表达数据	影像（空间结构）、文本（非结构化语义）、基因（高维稀疏）	综合影像、病史与分子信息提高诊断准确率
智能语音交互	音频波形 + 唇部视频 + 文本上下文	音频（时序）、视频（时空）、文本（语义）	跨模态增强语音识别与情感理解
遥感地物分类	多光谱卫星影像 + SAR雷达影像 + 高程数据	光谱（波段多）、SAR（穿透性）、DEM（地形）	提高地物分类精度，克服单一传感器局限

以自动驾驶为例，摄像头提供丰富的颜色和纹理信息，但在夜间或强光下性能下降；激光雷达提供精确的3D空间位置，但成本高且稀疏；毫米波雷达在雨雪雾天依然稳定，但分辨率低。多输入模型将这三种异构数据在特征层面融合，使得感知系统在各类天气和光照条件下都能保持较高的可靠性。这种融合不是简单的数据拼接，而是需要在模型内部学习不同模态之间的关联权重，这正是多输入模型的核心价值所在。

1.3 课程学习目标与整体框架

本课程聚焦于ONNX多输入模型的转换实践，学习目标分为四个层次：

理解层：掌握多输入模型在ONNX中的表示方式，包括多输入节点的定义规则、动态轴的声明方法以及输入输出张量的约束条件。
操作层：能够使用PyTorch、TensorFlow等主流框架构建多输入模型，并通过torch.onnx.export或tf2onnx等工具完成到ONNX格式的转换，正确处理多输入参数的传递。
调优层：掌握多输入模型转换中的常见问题排查方法，如输入顺序错乱、维度不匹配、动态轴设置失效、融合算子不支持等，并能通过ONNX GraphSurgeon等工具进行图结构修改。
部署层：熟悉ONNX Runtime、TensorRT、OpenVINO等推理引擎对多输入模型的加载与执行方式，理解输入绑定（Input Binding）和输出读取的API调用细节。

课程整体框架按照"基础概念 → 转换实战 → 高级调优 → 部署优化"的递进路径设计。前两章（含本章）建立多输入模型的基本认知；第三章至第五章分别讲解PyTorch、TensorFlow和PaddlePaddle框架下的多输入模型转换方法；第六章至第八章深入探讨动态形状处理、多输入预处理对齐和融合层自定义算子导出；第九章至第十一章聚焦于ONNX Runtime和TensorRT的部署适配；最后两章通过自动驾驶多传感器融合和工业多模态质检两个完整案例，串联全部知识点。

学习建议：多输入模型的ONNX转换与单输入模型最大的不同在于"接口契约"的复杂性。建议读者在学习过程中，始终带着三个问题去实践：① 我的模型有几个输入节点？每个节点的名称和数据类型是什么？② 这些输入在推理时是否需要动态形状（如batch size可变）？③ 模型内部的融合层是否使用了ONNX标准算子？如果使用了自定义算子，需要额外注册。

1.4 多输入模型转换的常见误区与应对策略

在课程正式开始之前，有必要先厘清几个初学者容易陷入的误区，这些误区在后续章节中会反复出现，提前建立正确的认知框架可以避免大量踩坑。

误区一：认为多输入模型只是多个输入的简单拼接。实际上，多输入模型在ONNX转换时，每个输入分支的预处理逻辑（如归一化、resize、padding）通常需要独立编写，且这些预处理步骤往往被封装在模型外部的数据管线中，而非模型内部。这意味着转换后的ONNX模型只接受"已经预处理好的张量"，而预处理本身需要由部署端的预处理算子或外部代码完成。

误区二：忽视输入顺序的确定性。在PyTorch中，模型的forward函数接收的输入顺序由函数签名决定；但在ONNX中，输入顺序由torch.onnx.export传入的input_names列表决定。如果训练时的输入顺序是(image, pointcloud, radar)，而导出时input_names写成了(image, radar, pointcloud)，那么推理时就会发生数据错位，且这种错误在数值上不会立即报错，而是表现为模型输出结果完全错误，排查难度极大。

误区三：动态轴设置过于宽泛。多输入模型中，不同输入可能具有不同的动态维度。例如，图像输入的宽高可以是动态的，但点云输入的点数也可以是动态的。在ONNX中，动态轴通过dynamic_axes参数声明，但过宽的动态范围会导致推理引擎无法进行算子融合和内存优化，降低推理性能。合理的做法是限制动态轴的范围，或者使用固定形状的ONNX模型配合外部Padding策略。

风险提示：在多输入模型转换过程中，最容易出现且最难排查的问题是"输入张量的内存布局不一致"。例如，PyTorch默认使用NCHW布局，而某些推理引擎可能期望NHWC布局。当模型有多个输入时，这种布局差异会被放大，导致部分输入正确、部分输入错误的现象。建议在转换前统一所有输入的通道顺序和内存布局，并在转换后使用ONNX Checker工具验证图结构的合法性。

为了帮助读者建立直观的认知，我们用一个简化的工业质检场景来说明多输入模型转换的完整链路。假设我们需要检测一个电子元件的焊接质量，使用两个输入：① 高分辨率光学图像（用于检测焊点外观缺陷）；② 红外热像图（用于检测焊接温度异常）。在PyTorch中，模型定义如下：

class WeldQualityModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn_optical = nn.Sequential(
            nn.Conv2d(3, 16, 3, padding=1), nn.ReLU(),
            nn.AdaptiveAvgPool2d((8, 8))
        )
        self.cnn_thermal = nn.Sequential(
            nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(),
            nn.AdaptiveAvgPool2d((8, 8))
        )
        self.fusion = nn.Linear(16*8*8 + 8*8*8, 2)  # 二分类：合格/缺陷
    
    def forward(self, optical_img, thermal_img):
        feat_opt = self.cnn_optical(optical_img).flatten(1)
        feat_thm = self.cnn_thermal(thermal_img).flatten(1)
        fused = torch.cat([feat_opt, feat_thm], dim=1)
        return self.fusion(fused)

# 导出ONNX时的关键代码
torch.onnx.export(
    model,
    (dummy_optical, dummy_thermal),  # 两个示例输入
    "weld_quality.onnx",
    input_names=["optical_image", "thermal_image"],
    output_names=["quality_logits"],
    dynamic_axes={"optical_image": {0: "batch_size"},
                  "thermal_image": {0: "batch_size"}}
)