4. 模型部署与工程化能力：推理加速、量化、蒸馏、边缘端部署
模型部署与工程化是多模态AI落地成败的关键。面试官重点考察你是否能平衡精度、速度、资源约束，是否理解从训练到生产全链路的技术选型。以下构建回答框架与高频案例，助你系统应对。
高频面试问答卡片
面试问题：请比较模型量化（INT8/FP16）、知识蒸馏和剪枝三种加速方法，你在实际项目中如何选择？
面试官考察点：是否理解各方法原理、适用场景与trade-off；能否结合业务约束（精度损失容忍度、硬件支持）做决策；是否有真实落地经验。
回答框架：① 简述三种方法核心思想；② 给出选择判断树：硬件是否支持INT8 → 精度要求 → 模型结构冗余度；③ 举例说明场景匹配（如边缘端优先量化+蒸馏）。
简短示例回答：“在智能客服多模态模型部署时，目标设备为高通855芯片，支持INT8。精度要求准确率下降<1%，故采用量化感知训练（QAT）为主，将BERT从FP32降为INT8，模型体积减小4倍，延迟从120ms降至35ms。同时辅以轻量蒸馏枝，剪除注意力头冗余。”
可能追问：QAT与PTQ的区别？如何避免量化后输出抖动？蒸馏中教师模型与学生模型温度参数如何设置？
面试问题：多模态模型在边缘设备（如手机、IoT）上部署时，你如何设计推理加速方案？
面试官考察点：端侧资源感知能力（内存、算力、带宽）；多模态融合阶段的优化技巧；是否熟悉NCNN、TFLite、ONNX Runtime等框架。
回答框架：① 先分析瓶颈：文本编码器vs视觉编码器耗时占比；② 设计分层加速策略：视觉用轻量backbone（如MobileNet系列）+ int8量化；文本用蒸馏后的小模型；③ 多模态融合前作特征对齐与算子融合；④ 实测指标验证。
简短示例回答：“以视觉+文本的零样本分类模型为例，边缘芯片为A53架构。视觉端将ViT替换为MobileViT+INT8量化，文本端将TinyBERT蒸馏至4层。融合层使用共享卷积+pre‑compute，最终模型从300MB压缩至18MB，单帧推理延迟从2s降至80ms。”
可能追问：若内存受限如何进一步压缩？端侧如何做动态批处理？如何解决模型在多设备上的精度一致性？
面试问题：你在项目中如何验证加速后的模型效果？请描述完整的评估流程。
面试官考察点：工程化思维——是否建立可复现的评估Pipeline；理解加速指标（延迟、吞吐、内存占用）与业务指标（准确率、召回、AUC）的关系；对比基线设定能力。
回答框架：① 设定基线：原始模型在全GPU上的性能；② 对加速后的模型在目标设备上跑离线测试（Warm‑up+多次取中位数）；③ 用线上A/B测试验证业务指标是否下降；④ 给出失败预案：若精度下降超阈值则回退至软加速策略。
简短示例回答：“以视频实时理解模型为例，基线ViT-L+BEV-3编码器延迟150ms。加速后（FP16+TensorRT）延迟35ms。我们在1000段验证集上对比mAP，下降0.3%（容忍阈值1%），通过A/B测试线上CTR无显著差异，确认上线。”
可能追问：如何排除测试环境噪声？为什么用P50而非P99？线上A/B样本量如何确定？
项目案例模板：多模态搜索模型边缘端部署优化
| 项目名称 | 多模态商品搜索——手机端实时推理引擎 |
|---|---|
| 业务背景 | 电商App需要用户拍照+输入文字搜索同款，要求端侧推理延迟<100ms，模型体积<30MB，离线准确率>90% |
| 规模指标 | 日活5000万+，端侧推理每日2亿次，覆盖Android/iOS端30+款主流芯片 |
| 技术栈 | PyTorch（训练）→ ONNX + TensorRT（NCNN） + MNN（端侧）；权重采用INT8‑QAT；知识蒸馏框架（TinyBERT→4层） |
| 核心难点 | ① 多模态特征对齐量化后损失大 → 设计分阶段量化策略；② 端侧显存不足 → 用算子融合+动态形状；③ 不同芯片对INT8指令支持差异 → 动态fallback到FP16 |
| 面试高频追问 | • 蒸馏时温度参数如何搜索？• 如何保证视觉与文本特征在量化后端对齐？• 边缘端模型更新如何做热更新？• 量化校准集大小如何选择？ |
| 可迁移回答话术 | “多模态端侧部署的关键在于解耦各模态并独立优化。我们利用跨芯片的自动调优管道，将单次优化经验可复用于后续9+业务线。核心principle：先保证精度基线，再逐步放大加速比，每一步用shadow测试验证。” |