第4章  多模态表征学习与特征对齐技术

是否理解异构数据在语义、分布、采样率上的本质差异；能否提出具体的对齐 loss 或网络设计；是否有对比不同方案的工程直觉。

1. 先定性：指出难点在于“语义鸿沟 + 分布偏移 + 时序不对齐”。
2. 举例说明：以视频+文本为例，视频帧率高、文本稀疏，需设计时序对齐模块。
3. 解决方案：对比学习（InfoNCE）拉近匹配对；或引入跨模态注意力做软对齐。
4. 效果评估：用 recall@K 和对齐准确率衡量。

“核心难点是视频帧与文本词之间的语义粒度不匹配。我在电商多模态项目中采用跨模态对比学习，以 InfoNCE 为对齐 loss，并引入时序池化层将视频帧聚合为段落级特征。离线评估 recall@10 提升 7.2%，线上点击率 +3.1%。”

• 对比学习负样本如何选取？batch size 影响大吗？
• 如果模态之间出现语义冲突（如文本说“红色”但图像是蓝色）怎么办？
• 你在对齐时有没有做 hard negative mining？

架构设计中的 trade-off 分析能力；是否理解不同融合阶段对特征复用、计算开销、模态交互深度的影响；能否结合业务场景做决策。

1. 概念对比：早期融合在输入层拼接，交互早但易过拟合；晚期融合在各模态独立编码后融合，灵活但交互浅。
2. 优缺点：早期融合计算成本高、对模态缺失敏感；晚期融合易于部署、支持单模态降级。
3. 选型依据：数据量 <10w 用晚期融合；数据充足且模态稳定可尝试早期融合。
4. 实践案例：我在智能客服中采用“晚期融合+跨模态门控”，兼顾效果与稳定性。

“早期融合模态交互充分但计算量大，晚期融合更鲁棒、部署友好。在短视频标签项目中，因线上常有音频缺失，我选择晚期融合：各模态独立编码后通过门控网络加权融合。相比早期融合，推理速度提升 40%，且音频缺失时精度仅下降 1.2%。”

• 有没有尝试过中间融合或分层融合？效果如何？
• 门控网络的权重是怎么学习的？会不会导致某一模态永远被忽略？
• 你的融合层用的是什么操作？拼接、加法还是注意力？

工程容错意识；是否了解模态缺失的常见处理策略（掩码、插值、dropout 模拟、独立推理）；能否设计端到端的容错训练方案。

1. 问题定义：模态缺失分为“训练时缺失”和“推理时缺失”，处理方法不同。
2. 训练阶段：使用随机模态 dropout 或模态掩码策略，让模型学习适应缺失。
3. 推理阶段：用对齐掩码标记缺失模态，通过门控或专家路由切换到单模态分支。
4. 兜底方案：配置降级阈值，当缺失比例过高时回落至规则或单模型。

“在视频审核项目中，我们采用模态 dropout 训练：以 15% 概率随机掩码图像或文本 embedding，迫使模型学会单模态推理。上线后配合实时健康检查模块，当音频连续 3 帧无效时自动切换至文本+图像双模态门控方案，精度保持 92% 以上。”

• 模态 dropout 的概率如何设置？过大或过小会有什么问题？
• 如果同时缺失两种模态，你的系统怎么处理？
• 有没有考虑用生成模型补全缺失模态？为什么没用？