📚 课程目录第4章特征级融合方法

4、特征级融合方法：串联、并行与注意力机制

特征级融合，说白了就是把不同传感器提取到的特征向量，在模型的中间层合并起来。我刚开始做多模态项目时，总觉得这步就是简单拼一拼，后来踩了不少坑才明白——融合方式选不对，后面模型再强也白搭。

这一章，我带你看看三种最常用的特征级融合方法：串联、并行，还有现在大火的注意力机制。每种我都会结合项目经验，讲讲它们适合什么场景，又有什么坑。

串联融合是最直接的方法。你把图像特征和文本特征往一块儿一拼，就像把两根绳子接成一根更长的绳子。假设图像特征是 512 维，文本特征是 256 维，拼完就是 768 维。

核心公式：

z = [x₁; x₂]

其中 x₁ ∈ ℝᵈ¹, x₂ ∈ ℝᵈ², z ∈ ℝ⁽ᵈ¹⁺ᵈ²⁾

我在做自动驾驶场景理解时用过这个方案。摄像头提取视觉特征，激光雷达提取点云特征，直接拼起来送进分类器。效果还行，但有个问题——特征维度暴涨。

避坑指南：

我曾经在一个项目里把 4 个模态的特征全部串联，结果特征维度到了 4096。模型参数量翻了三倍，训练速度慢得让人崩溃。后来加了 PCA 降维才解决问题。所以我的建议是：串联前先评估一下维度爆炸的风险。

适用场景：

缺点：

并行融合的思路不一样。它不拼特征向量，而是让每个模态的特征走各自的网络分支，最后在决策层或某个中间层做加权合并。你想想看，这就像几个专家各自分析问题，最后投票出结果。

核心公式：

z = W₁ · x₁ + W₂ · x₂

其中 W₁, W₂ 是可学习的权重矩阵

我记得有个语音+视觉的说话人识别项目，就用了并行融合。音频特征走一个 LSTM 分支，视频特征走一个 CNN 分支，两个分支的输出做加权平均。这样做的好处是：即使某个模态质量差（比如光线暗导致视频模糊），另一个模态还能撑住。

我的经验：

并行融合的权重 W₁, W₂ 不要手动设置。我见过有人直接设成 0.5 和 0.5，结果某个模态噪声大时模型直接崩了。让网络自己学权重，或者用注意力机制动态生成权重，效果会好很多。

注意力机制融合，是目前最主流的方法。它不搞简单的拼接或加权，而是让模型自己学会「该看哪里」。说白了，就是给每个模态的特征算一个重要性分数，然后按重要性做加权融合。

为什么会这样？因为不同模态在不同场景下的重要性是不一样的。比如在弱光环境下，视觉特征可能不可靠，但热红外特征依然稳定。注意力机制能自动捕捉这种动态变化。

核心公式（以交叉注意力为例）：

Q = W_Q · x₁    # 查询来自模态1
K = W_K · x₂    # 键来自模态2
V = W_V · x₂    # 值来自模态2

A = softmax(Q · Kᵀ / √d)   # 注意力权重
z = A · V                   # 加权融合结果

我做过一个医疗影像+病历文本的融合项目，用的就是交叉注意力。影像特征作为 Query，文本特征作为 Key 和 Value。模型能自动找到影像中哪些区域和病历描述最相关，效果比串联融合提升了 12 个点。

常见的注意力融合变体：

注意：

注意力机制不是万能的。我曾经在一个小数据集上（每个模态只有 500 个样本）强行用交叉注意力，结果模型过拟合得一塌糊涂。注意力机制参数量大，数据量不够时反而比简单融合更差。我的建议是：数据量少于 1 万条时，先用串联或并行融合打底。

我把三种方法的核心差异整理成了一张表，方便你快速选型：

方法	核心思想	计算复杂度	模态交互	数据量要求	推荐场景
串联融合	特征向量拼接	O(d₁ + d₂)	弱（靠后续网络）	低	维度低、模态独立性强
并行融合	分支加权合并	O(d₁ + d₂)	中（加权交互）	中	模态质量不稳定、需鲁棒性
注意力融合	动态重要性加权	O(d₁ × d₂)	强（双向交互）	高	数据量大、需精细对齐

选型建议：

如果你刚开始做多模态融合，我建议从串联融合入手，快速验证可行性。等模型跑通了，再换成并行融合提升鲁棒性。最后，如果数据量够大、任务对精度要求高，再上注意力机制。一步到位用注意力，容易翻车。

特征级融合是多模态模型的核心环节。串联融合简单直接，适合快速验证；并行融合鲁棒性好，适合模态质量不稳定的场景；注意力机制融合效果最强，但对数据量和计算资源要求也最高。

嗯，这里要注意一点：没有银弹。我见过太多人一上来就上 Transformer 做交叉注意力，结果训练慢、过拟合、调参调到崩溃。选融合方法，一定要结合你的数据量、计算资源和任务特点来定。