机器学习基础高频面试题：特征工程、模型评估、正则化、偏差方差、公司侧重点
📊 四大主题对比速查表
| 主题 | 核心问题 | 面试高频点 | 公司侧重点 |
|---|---|---|---|
| 特征工程 | 如何构造有效特征？ | 缺失值处理、离散化、交叉特征、特征选择 | 推荐场景：用户/物品特征交叉、时序特征 |
| 模型评估 | 如何衡量模型好？ | AUC、PR曲线、KS、校准曲线、离线在线差异 | 排序场景：AUC vs NDCG；广告：CVR预估校准 |
| 正则化 | 如何防过拟合？ | L1/L2本质、不同结局、弹性网络、贝叶斯解释 | 稀疏性（L1）用于特征筛选；L2用于高维稳定 |
| 偏差方差 | 模型泛化能力诊断 | 偏差-方差权衡、bagging vs boosting、过拟合/欠拟合信号 | 大厂重视理论推导 + 实际调参策略 |
📌 面试问答卡片
❓ 面试问题：你在特征工程中如何处理缺失值？请结合推荐场景说明。
🔍 考察点：特征工程基本功、业务理解、对模型鲁棒性的影响。
📐 回答框架：① 缺失类型（MCAR/MAR/MNAR）→ ② 处理方法（删除/填充/模型预测）→ ③ 推荐场景特殊处理（用户行为稀疏特征用众数/聚类填充）→ ④ 对模型影响及验证。
✏️ 简短示例回答：推荐CTR特征中用户年龄缺失30%，先分析缺失是否随机；若与点击行为相关，使用LightGBM预测填充；若是随机缺失，用中位数并新增缺失指示特征。实验证明相比删除样本AUC提升0.3%。
⚡ 可能追问：连续值缺失用均值填充会改变分布吗？缺失比例高时如何处理？
❓ 面试问题：AUC与PR曲线分别在什么场景下使用？推荐排序模型评估选哪个？
🔍 考察点：模型评估指标选择逻辑、对样本不均衡的理解、业务适配。
📐 回答框架：① AUC = ROC曲线下面积，对正负样本比例不敏感；PR曲线聚焦正例。② 正负样本极度不均衡时（如点击率1%）PR曲线更反映排序质量。③ 推荐场景：CTR预估常用AUC，但若只看头部推荐效果需用NDCG或MAP；召回阶段用PR曲线。
✏️ 简短示例回答：广告CVR预估正样本仅0.1%，AUC可能虚高，我会用PR曲线评估头部排序；推荐精排阶段用AUC + 用户分组GAUC，因为AUC能稳定衡量整体区分度。
⚡ 可能追问：AUC为0.8代表什么？如果AUC高但线上效果差可能是什么原因？
❓ 面试问题：L1和L2正则化有什么区别？在推荐模型中你如何选择？
🔍 考察点：正则化原理、稀疏性理解、调参经验。
📐 回答框架：① L1 = Lasso（加值惩罚）→ 产生稀疏解；L2 = Ridge（加平方惩罚）→ 参数均匀减小。② 数学本质：L1在零点不可导导致很多权重为0；L2梯度衰减。③ 推荐场景：特征维度大且需要自动筛选时用L1（如LR + L1）；高维连续特征用L2（如FM、DeepFM）。
✏️ 简短示例回答：在推荐DCN模型中，对交叉层用L2正则化防止过拟合，对输入层用L1稀疏掉低频ID特征。实际调参：L1系数0.001使80%无用特征归零，线上CTR提升0.5%。
⚡ 可能追问：L1不可导如何求解？弹性网络（Elastic Net）的好处？
🔗 公司侧重点小结
- 字节/快手：重实践，常问特征工程+偏差方差如何调参，要求举例线上案例。
- 阿里/美团：重评估体系，AUC、GAUC、校准损失等细节，追问离线在线不一致原因。
- 腾讯/百度：重正则化原理推导，可能手推L1/L2梯度，问贝叶斯先验解释。
- 小红书/拼多多：关注业务理解，特征工程与模型评估结合推荐漏斗各阶段选择。