1. MRM 概述：多响应模型的定义、应用场景与核心差异
MRM（Multi-Response Model，多响应模型）是一种能够同时预测多个目标变量的机器学习模型。与传统的单响应模型每次只输出一个标量值不同，MRM 在单次推理中生成一个向量或矩阵，每个维度对应一个独立的预测任务。这种“一次推理、多路输出”的架构使其在需要同时处理多个相关目标的场景中具有显著优势。
1.1 MRM 的定义与数学形式
从数学角度看，MRM 可形式化为：
给定输入特征向量 X ∈ ℝᵈ，MRM 学习映射函数 f: ℝᵈ → ℝᵏ，输出 Ŷ = [ŷ₁, ŷ₂, …, ŷₖ]。
其中 k 为响应变量个数，每个 ŷᵢ 对应一个独立的预测目标。MRM 的核心特征在于共享底层表示：所有响应变量共用同一个特征提取网络或表示层，仅在输出层分叉为多个预测头。这种设计既保留了任务间的关联信息，又大幅降低了参数总量。
1.2 典型应用场景
MRM 在工业界和学术界均有广泛落地，以下为三个最具代表性的场景：
| 应用场景 | 输入特征 | 多响应输出 | 典型模型 |
|---|---|---|---|
| 推荐系统 | 用户画像、物品属性、上下文 | 点击率、转化率、停留时长、收藏概率 | MMOE、PLE、Shared-Bottom |
| 多标签分类 | 文本、图像、音频 | 多个标签的独立概率（如“猫、狗、鸟”） | MLP + Sigmoid、CNN + 多输出头 |
| 多任务学习 | 传感器数据、时序信号 | 回归值 + 分类标签 + 异常分数 | 硬参数共享、Cross-Stitch |
关键洞察： 推荐系统是 MRM 最密集的应用领域。一个视频推荐模型往往需要同时预测用户是否会点击、是否会完整观看、是否会点赞收藏——这些目标高度相关，共享底层特征表示能显著提升每个任务的泛化能力。
1.3 与传统单响应模型的区别
单响应模型（Single-Response Model）每次只优化一个目标，例如单独训练一个点击率预测模型、再单独训练一个时长预测模型。MRM 则通过联合训练同时优化多个目标。两者在架构、训练、推理和效果上存在本质差异：
| 对比维度 | 单响应模型 | 多响应模型（MRM） |
|---|---|---|
| 输出结构 | 单个标量 | 向量 / 多路输出 |
| 参数共享 | 无共享，每个任务独立参数 | 共享底层表示层，仅输出头独立 |
| 训练方式 | 每个任务单独训练 | 联合训练，多损失加权求和 |
| 推理效率 | 需 k 次前向传播 | 仅需 1 次前向传播 |
| 任务关联利用 | 无法利用任务间相关性 | 通过共享表示学习任务关联 |
| 数据需求 | 每个任务需独立标注 | 每条样本需标注所有响应 |
| 过拟合风险 | 低（参数少） | 较高（共享层可能过拟合） |
工程建议： 当任务间存在强相关性（如 CTR 与 CVR）时，MRM 通常优于独立模型；若任务间为负相关或无关，则需引入专家路由（如 MMOE）或任务特定正则化，否则共享表示可能产生负迁移。
1.4 MRM 架构演进：从共享底层到专家路由
MRM 的架构设计经历了三代演进，每一代都在解决前一代的痛点：
- Shared-Bottom（共享底层）：所有任务共用同一个特征提取网络，输出层分叉。结构简单，但任务冲突时效果下降。
- MMOE（Multi-gate Mixture-of-Experts）：引入多个专家子网络 + 门控机制，每个任务学习不同的专家组合权重，缓解任务冲突。
- PLE（Progressive Layered Extraction）：在 MMOE 基础上增加任务专属专家和渐进式提取层，进一步隔离任务间干扰。
1.5 MRM 特征工程的独特挑战
MRM 的特征工程与单响应模型有本质区别，主要体现在以下四个方面：
- 共享特征 vs 任务专属特征：需要区分哪些特征对所有任务有益（如用户基础画像），哪些特征仅对特定任务有效（如“是否已收藏”对收藏预测任务无效）。
- 特征重要性差异：同一特征对不同任务的重要性可能截然不同，需要为每个任务维护独立的特征重要性排序。
- 交互特征构造：跨任务交互特征（如“点击率 × 转化率”）可能带来额外信息，但需防止标签泄露。
- 特征归一化策略：不同任务的数值尺度差异大（如点击率 0~1，停留时长 0~3600s），共享特征需采用鲁棒归一化。
常见陷阱： 在 MRM 中直接复用单响应模型的特征工程流程，往往导致负迁移。例如，为 CTR 任务构造的“用户近 7 天点击次数”特征，若不加处理直接用于时长预测任务，可能引入噪声。正确的做法是为每个任务计算专属统计窗口或使用任务条件化特征变换。