第3章 多任务学习与多目标优化
多任务学习是推荐系统精排模型的核心技术，也是大厂高级算法工程师面试的必考点。本章从MMOE原理、任务冲突解决、业务落地三个维度，为你构建完整的多目标优化面试回答框架。掌握这些内容，你就能在面试中展现出对多任务学习的系统性理解与实战深度。
请详细介绍 MMOE 模型的原理和优势
面试官考察点：
- 是否理解多任务学习的核心挑战（负迁移、跷跷板现象）
- 对 MMOE 各组件（Expert、Gate、Tower）的掌握深度
- 能否清晰对比 MMOE 与 Shared-Bottom、OMOE 的差异
回答框架：
- 模型定位：MMOE 是 Multi-gate Mixture-of-Experts，解决多任务中的负迁移问题
- 核心组件：多个 Expert 网络 + 每个任务独立的 Gate 网络 + 任务专属 Tower
- 工作流程：输入经 Expert 提取特征 → Gate 为每个任务生成专家权重 → 加权融合后输入 Tower
- 关键优势：灵活分配专家资源、缓解任务冲突、提升整体 AUC 3%~5%
示例回答：
MMOE 通过多个专家网络和门控机制实现任务间灵活的知识共享。每个任务拥有独立的门控网络，学习从不同专家中提取信息的权重分布，有效缓解了任务冲突。相比 Shared-Bottom，MMOE 在多任务场景下平均 AUC 提升 3%~5%，且训练更稳定。
可能追问：
- MMOE 与 Shared-Bottom、OMOE 的核心区别是什么？
- Expert 数量如何选择？数量过大会带来什么问题？
- MMOE 的显存占用问题如何优化？
避坑提醒：不要只讲概念堆砌，要结合具体业务场景说明 MMOE 解决了什么问题。同时注意说明 Gate 网络训练初期可能不稳定，需要适当的初始化策略。
在多任务学习中，如何解决任务冲突和负迁移问题？
面试官考察点：
- 是否系统性地理解任务冲突的根源（梯度方向不一致、数据分布差异）
- 是否掌握多种解决方案（模型结构、优化策略、数据层面）
- 能否结合实践经验说明哪种方案在什么场景下更有效
回答框架：
- 数据层：分析任务相关性（梯度余弦相似度、标签互信息），筛选辅助任务
- 结构层：采用 PLE 结构，为冲突任务分配独立专家，减少共享带来的干扰
- 优化层：使用 PCGrad / GradVac 进行梯度裁剪，当梯度方向冲突时投影修正
- 动态层：不确定性加权、动态损失权重调整，让模型自动平衡任务重要性
示例回答：
解决任务冲突可从三方面入手：数据层分析任务相关性筛选辅助任务；模型层采用 PLE 结构为冲突任务分配独立专家；优化层使用 PCGrad 梯度裁剪，当梯度方向冲突时进行投影修正。三者结合可有效缓解负迁移，提升整体效果。
可能追问：
- 如何量化任务相关性？常用的指标有哪些？
- PLE 相比 MMOE 的核心改进点是什么？
- 实际项目中遇到过哪些典型的任务冲突案例？
避坑提醒：不要只谈理论方法，要结合具体数据分布说明。避免说"所有任务都能用多任务学习"，要指出任务相关性较低时多任务可能带来负收益。
请分享一个多目标优化项目从模型设计到线上落地的完整实践
面试官考察点：
- 是否具备多目标模型选型与调优的实战经验
- 能否清晰阐述从业务拆解、模型设计到 A/B 实验的全流程
- 是否有量化指标支撑，能否说明效果提升的具体幅度
回答框架：
- 业务拆解：视频推荐场景，主目标完播率，辅目标点赞率、转发率
- 模型选型：PLE 结构，主任务独占 4 个专家，辅助任务共享 2 个专家
- 训练策略：分层学习率、梯度冲突检测、动态不确定性加权
- 线上验证：A/B 实验，完播率 +2.1%，点赞率 +1.3%，综合时长 +3.5%
示例回答：
在视频推荐场景中，我们设计 PLE 结构优化完播率和点赞率。通过梯度分析为主任务分配 4 个专家，辅助任务共享 2 个专家。线上 A/B 实验完播率提升 2.1%，点赞率提升 1.3%，综合时长提升 3.5%，且未出现跷跷板现象。
可能追问：
- 如何确定专家数量？有没有系统的实验方法？
- 线上效果不符合预期时，排查路径是怎样的？
- 多目标之间的权重如何动态调优？
避坑提醒：回答必须有真实的指标数据支撑，避免空泛描述。同时要说明业务场景的特殊性，表明你的方案是可迁移但需要针对性调整的。
多任务学习主流模型对比
核心要点：多任务面试的三大得分关键——① 说清楚模型结构的设计动机；② 结合梯度冲突讲优化策略；③ 用真实指标证明落地效果。三者缺一不可。
面试加分点：提到"梯度冲突检测 + 动态权重调整"的组合方案，能体现你对多任务优化有系统性思考。建议提前准备一个你亲手画过的模型结构图，面试时直接展示。