第4章 模型评估与选择面试题
本章核心能力点： 评估指标选择、交叉验证设计、AUC/ROC曲线解读、过拟合识别、项目经验结合。面试官通常通过“你会选择什么指标→如何验证→如何避免过拟合→结合业务解释”的链条考察实战能力。
面试问答卡 1
| 面试问题 | 对于二分类任务，你会选择哪些评估指标？为什么？ |
| 考察点 | 1. 是否理解不同指标（准确率、精确率、召回率、F1、AUC）的适用场景；2. 能否结合业务痛点（如正负样本不平衡、成本敏感）选择；3. 是否知道指标之间的权衡关系。 |
| 回答框架 | ① 先确定业务目标（优化召回还是精确？）→ ② 分析样本分布（是否严重不平衡？）→ ③ 选择主指标（如F1、AUC）并解释原因 → ④ 补充辅助指标（如召回率、K-S）→ ⑤ 给出交叉验证下的稳定性说明。 |
| 示例回答 | “我会优先用AUC作为主指标，因为正负样本比例1:100，AUC对排序能力不敏感于阈值。同时关注召回率@k，因为业务希望尽可能捡回正例，再配合精确率做trade-off。在K折交叉验证中，AUC的方差约0.5%，说明模型稳定。” |
| 可能追问 | 1. AUC 0.9和0.85的差距在实际业务中意味着什么？2. 如果召回率必须>90%，你会怎么调整模型？ |
| 避坑提醒 | ❌ 只提准确率（尤其在样本不平衡时）→ 会暴露新手思维；❌ 把AUC等同于模型所有能力（AUC高不代表校准好）。 |
面试问答卡 2
| 面试问题 | 请解释交叉验证的原理，你常用的类型以及选择依据？ |
| 考察点 | 1. 是否真做过交叉验证（不只是背概念）；2. 能否区分K折、分层K折、留一法、时间序列交叉验证；3. 是否考虑数据泄露（time leak）和数据分布一致性。 |
| 回答框架 | ① 一句话说明交叉验证目的（降低单次划分偏差）→ ② 列出常用类型（K=5或10，分层K折用于分类）→ ③ 针对时间序列说“使用TimeSeriesSplit避免未来数据泄露” → ④ 给出评估指标方差 → ⑤ 说明如何选择K（计算量 vs 偏差）。 |
| 示例回答 | “我常用5折分层交叉验证，保证每折正负样本比例不变。对于时间序列预测，改用Expanding Window或者TimeSeriesSplit，确保训练集时间早于验证集。K折结果汇报均值±标准差，若标准差>1%会检查数据是否有分布漂移。” |
| 可能追问 | 1. K值越大越好吗？为什么？2. 如果数据量很大（百万级），你还用K折吗？怎么办？ |
| 避坑提醒 | ❌ 对时间序列数据用随机K折 → 出现数据泄露；❌ 只说“用5折”但不解释为什么不是10折 → 缺少计算量考量。 |
面试问答卡 3
| 面试问题 | 模型训练后如何判断是否过拟合？你会采取哪些措施？ |
| 考察点 | 1. 是否真的监控训练过程（学习曲线、验证曲线）；2. 能否区分过拟合、欠拟合、数据松耦合；3. 是否掌握多种缓解手段（正则化、早停、数据增强、简化模型）。 |
| 回答框架 | ① 从指标趋势判断（训练loss持续下降，验证loss先降后升）→ ② 列出观察点（验证AUC vs 训练AUC差值>5%警告）→ ③ 采取措施：L1/L2正则化、Dropout、早停、增大数据、简化特征 → ④ 用交叉验证验证泛化能力 → ⑤ 结合业务验证线上效果。 |
| 示例回答 | “我会画学习曲线：训练AUC接近0.99，验证AUC只有0.82，且验证loss在30轮后开始上升。立即启用早停（patience=5），加L2正则化系数0.001，并做特征选择保留50维重要特征。最终验证AUC回升到0.88，线上效果也稳定。” |
| 可能追问 | 1. 早停的“patience”怎么设？依据是什么？2. L1和L2区别，什么时候用L1？ |
| 避坑提醒 | ❌ 只用训练集上的指标谈过拟合（需要验证集数据）；❌ 认为过拟合只能靠增加数据（忽略正则化与模型复杂度控制）。 |
项目案例：信贷违约预测模型评估与优化
| 项目名称 | 信贷风控——二分类违约预测模型离线评估与验证 |
| 业务背景 | 某消费金融平台需提升坏账预测精度，原有规则策略误杀率35%，要求新模型在保持召回率>85%前提下，降低误杀（精确率提升10%）。 |
| 规模指标 | 训练样本 500万（正样本8%），特征维度 200+，日均预测 50万笔。 |
| 技术栈 | Python、XGBoost、LightGBM、Optuna调参、5折分层交叉验证、AUC/KS、SHAP解释。 |
| 核心难点 | 1. 正样本极不平衡（8%）导致模型倾向预测为负；2. 时间分布漂移（旧模型在疫情期间失效）；3. 在线延迟要求<20ms，需平衡模型复杂度与速度。 |
| 面试高频追问 | 1. 为什么选择AUC而不是PR-AUC？ 2. 如何检测并应对数据漂移？ 3. KS值和AUC有什么不同？ 4. 最后线上精确率提升11%，召回下降3%，如何向业务汇报？ |
| 可迁移回答话术 | “我负责离线评估，构建了5折分层交叉验证，用AUC+KS双指标监控。针对不平衡，引入scale_pos_weight和自定义损失函数。最终模型AUC 0.86，KS 0.52，在线上A/B测试中精确率提升11%，召回率微降3%仍满足业务底线。每季度用PSI监控特征分布漂移，及时重训练。” |
公司侧重点提示： 蚂蚁/腾讯等大厂面试会重点考察AUC/ROC解读、交叉验证方差、过拟合与业务指标的结合；字节跳动更偏向于在线指标（如NDCG、AUC@k）与离线指标的映射理解；外企（如微软、Amazon）常追问贝叶斯优化与交叉验证的计算代价。建议提前准备一个自己实际做过的模型评估闭环案例。