2. 多模态基础与高频面试问题

❓ 面试问题：请介绍一下多模态学习中的融合方法，并说明各自的适用场景。

🔍 面试官考察点：基础理论扎实程度，能否从原理和工程角度区分不同融合策略（early fusion、late fusion、hybrid fusion），以及灵活应用能力。

✅ 回答框架：分类列举 → 对比优缺点 → 结合项目举例 → 总结选择依据。

📄 示例回答：常见方法有早期融合（特征拼接）、晚期融合（独立编码后融合）、跨模态注意力。早期融合适合模态对齐好的场景，但计算量大；晚期融合更高效，适合异步模态。我在某推荐项目中使用晚期融合，图文分别用CLIP编码，再通过MLP融合，离线AUC提升2.3%。

🔗 可能追问：跨模态注意力相比简单拼接的优势在哪？你在什么情况下会考虑使用门控融合？

❓ 面试问题：多模态数据对齐是重要挑战，你如何解决图文对齐中的噪声问题？

🔍 面试官考察点：对数据噪声的敏感度、异常样本处理经验、是否用过对比学习或损失函数改进。

✅ 回答框架：问题定义 → 噪声类型分析 → 解决方案（数据清洗/损失函数/模型设计） → 效果验证。

📄 示例回答：主要噪声为文本描述不匹配、错位。我采用两阶段方案：先用NLI模型过滤明显矛盾样本，再在训练中引入动态难样本挖掘（RINCE损失），减少错误对齐。实验显示图文召回率从85.3%提升至88.7%，且收敛更快。

🔗 可能追问：如果你的语料中存在大量未标注噪声，如何用弱监督方式缓解？对比学习中的温度系数如何影响对齐质量？

❓ 面试问题：你在多模态项目中遇到的最大挑战是什么？如何克服的？

🔍 面试官考察点：真实项目经验深度、问题解决能力、技术复盘与迁移思考。

✅ 回答框架：STAR结构 → 强调难点本质 → 具体技术方案 → 结果与反思。

📄 示例回答：挑战是图文双流模型推理延迟过高（单次300ms）。我通过模型结构简化（共享底层视觉编码器）、量化（int8）和onnx部署，将延迟降至45ms，且召回率仅降0.6%。这个经验可推广到其他多模态在线服务场景。

🔗 可能追问：你为什么选择量化而非蒸馏？如果要求精度不降，你会怎么平衡？