4. 业务理解与多模态场景拆解

面试问题：请描述一个你处理过的多模态业务场景，并解释为什么选择这种技术方案？

面试官考察点：业务理解深度、技术选型逻辑、决策依据是否量化。

回答框架：场景还原 → 痛点量化 → 方案匹配 → 评估指标 → 价值论证。

简短示例回答：“某电商短视频审核场景，每天10万+视频，人工审核成本高。我们选择图像+音频双流模型，召回率从80%提升至95%，上线后审核人力减少60%，年度节省成本200万元。”

可能追问：为什么不用纯文本分析？音频模态带来的边际收益如何计算？

面试问题：如何评估一个多模态项目是否值得投入资源？

面试官考察点：ROI意识、优先级排序能力、多模态 vs 单模态的边际价值判断。

回答框架：业务目标对齐 → 当前单模态瓶颈 → 多模态增益估算 → 成本与风险 → 分阶段验证。

简短示例回答：“某医疗影像辅助诊断，单模态CT准确率75%，加入病史文本后提升至88%。我们估算上线后漏诊率降低50%，每年减少诉讼风险约300万。先做小规模AB测试，ROI为4:1后再投入全量。”

可能追问：如果多模态增益只有2%，你还会做吗？为什么？

面试问题：你如何向非技术业务方解释多模态模型的局限性？

面试官考察点：沟通能力、诚实态度、对模型边界的认知。

回答框架：承认局限 → 归因分析 → 可接受误差 → 补救机制 → 持续迭代计划。

简短示例回答：“我们的跨模态检索在无光照条件下降10%，但业务要求夜间场景，我们同步增加红外预处理模块，同时设定置信度低于0.7时转人工审核，保证业务不中断。”

可能追问：如果业务方要求你承诺99.9%的准确率，你怎么回应？

项目名称：智能客服多模态意图识别系统

业务背景：电商平台客服需同时处理用户发送的图片、语音、文字，单模态无法准确捕捉用户真实需求（如“这个坏了”+一张模糊照片）。

规模指标：日均交互量50万+，覆盖20+商品类目，上线后意图识别准确率从72%提升至91%，转人工率降低35%。

技术栈：CLIP (图像编码) + BERT (文本编码) + Wav2Vec2 (音频编码) → 跨模态注意力融合 → 轻量化部署 (ONNX)。

核心难点：模态缺失（用户只发图不发文字）、实时性要求（<200ms）、长尾商品识别。

面试高频追问：

• 模态缺失时如何降级？→ 使用掩码训练，推理时只输入可用模态。
• 为什么选择CLIP而非ViT？→ 零样本能力适配频繁上新商品，减少finetune成本。
• 如何保证200ms延迟？→ 模型剪枝+量化，同时多模态特征缓存热点商品。

可迁移回答话术：“对于模态缺失场景，我们采用随机掩码训练策略，确保单模态也能给出合理结果；同时针对实时性要求，我们设计了级联架构——先快速匹配单模态高置信度case，再对低置信度case做多模态融合。”