4. 离线评估与在线评估：离线AUC/LogLoss等指标 vs 在线AB测试指标的区别与联系
在Champion Challenger模型的生命周期中，评估并非一次性动作。数据科学家通常先通过离线评估筛选出表现优异的候选模型，再通过在线评估（即AB测试）验证其在真实业务场景中的效果。两种评估方式在指标定义、数据来源、因果推断能力上存在本质差异，但共同构成了模型效果评估的完整闭环。
4.1 离线评估：基于历史数据的快速验证
离线评估使用已标注的历史数据，通过划分训练集、验证集和测试集来模拟模型在未知数据上的表现。其核心优势在于低成本、可复现、快速迭代，但受限于历史数据的分布偏移和反馈偏差。
4.1.1 核心离线指标
| 指标 | 适用场景 | 计算方式 | 取值范围 | 理想方向 |
|---|---|---|---|---|
| AUC (Area Under ROC Curve) | 二分类、排序模型 | ROC曲线下面积，衡量正负样本排序能力 | [0.5, 1.0] | 越高越好 |
| LogLoss (对数损失) | 概率校准要求高的场景 | -1/N * Σ[ y·log(p) + (1-y)·log(1-p) ] | [0, +∞) | 越低越好 |
| KS (Kolmogorov-Smirnov) | 风控、信用评分 | 正负样本累计分布最大差值 | [0, 1] | 越高越好 |
| Precision/Recall/F1 | 分类任务、阈值敏感场景 | 基于混淆矩阵计算 | [0, 1] | 越高越好 |
关键认知：离线指标衡量的是模型的相对排序能力或概率校准质量，而非绝对业务价值。AUC 0.85的模型在线上可能因数据分布变化而表现远低于预期。
4.2 在线评估：真实业务场景的最终检验
在线评估通过AB测试将Champion模型（当前生产模型）与Challenger模型（候选新模型）同时部署到真实流量中，随机分流后对比业务核心指标。在线评估能够捕捉用户行为反馈、系统延迟、数据漂移等离线环境无法模拟的因素。
4.2.1 核心在线指标
| 指标类别 | 典型指标 | 业务含义 | 统计检验方法 |
|---|---|---|---|
| 转化类 | CVR (转化率)、CTR (点击率) | 用户完成目标行为的比例 | Z检验、卡方检验 |
| 收入类 | ARPU (每用户平均收入)、GMV | 单位流量产生的商业价值 | t检验、Mann-Whitney U检验 |
| 体验类 | 页面停留时长、跳出率、响应时间 | 用户满意度和系统性能 | t检验、Bootstrap |
| 留存类 | 次日留存率、7日留存率 | 用户长期价值 | 生存分析、卡方检验 |
4.3 离线与在线评估的核心区别
| 对比维度 | 离线评估 | 在线评估 (AB测试) |
|---|---|---|
| 数据来源 | 历史已标注数据（固定数据集） | 实时用户流量（动态生成） |
| 因果推断 | 仅能发现相关性，无法排除混淆变量 | 随机分流可建立因果效应估计 |
| 反馈闭环 | 无用户行为反馈 | 包含用户真实反应（点击、转化、流失） |
| 成本与周期 | 低（数小时至数天） | 高（数天至数周，需积累样本量） |
| 数据分布 | 静态（可能存在分布偏移） | 动态（反映当前真实分布） |
| 可复现性 | 完全可复现 | 受时间、用户群体影响，难以完全复现 |
| 统计显著性 | 通常不涉及（直接比较指标值） | 必须计算p值、置信区间、功效 |
实践建议：离线评估是筛选器，在线评估是决策器。Challenger模型必须先在离线评估中显著优于Champion（例如AUC提升≥0.01），才值得投入在线AB测试资源。
4.4 离线与在线评估的内在联系
两种评估并非孤立存在，而是构成评估金字塔：离线指标提供必要条件，在线指标提供充分条件。一个合格的Challenger模型需要同时满足：
- 离线一致性：离线指标（AUC/LogLoss）与在线指标（CVR/CTR）在方向上一致。若离线AUC提升但在线CVR下降，说明存在离线-在线偏差（Offline-Online Gap）。
- 代理指标验证：离线指标应能作为在线指标的代理（Proxy）。例如，推荐系统中离线NDCG与在线CTR通常呈正相关，但相关系数需通过历史实验验证。
- 阈值映射：通过历史AB测试数据建立离线指标与在线指标的经验映射曲线，例如“离线AUC每提升0.01，在线CVR平均提升0.5%”，从而为离线筛选提供业务导向的阈值。
常见陷阱：切勿仅凭离线指标提升就上线模型。离线评估无法捕捉用户疲劳、新奇效应、系统延迟变化等线上特有因素。历史上多次出现离线AUC提升3%但线上CVR下降2%的案例。
4.5 离线-在线评估流程架构
下图展示了从离线评估到在线评估的完整流程，以及各阶段使用的核心指标：
4.6 离线-在线指标映射案例
以下是一个真实风控场景中，离线AUC与在线坏账率（Bad Rate）的映射关系示例：
| Challenger模型版本 | 离线AUC | 离线LogLoss | 在线坏账率 (Bad Rate) | 在线通过率 (Approval Rate) | 决策 |
|---|---|---|---|---|---|
| Champion (基线) | 0.782 | 0.421 | 3.2% | 68.5% | — |
| Challenger v1 | 0.795 (+0.013) | 0.408 (-0.013) | 3.0% (-0.2pp) | 69.1% (+0.6pp) | ✅ 上线 |
| Challenger v2 | 0.801 (+0.019) | 0.395 (-0.026) | 3.5% (+0.3pp) | 70.2% (+1.7pp) | ❌ 拒绝（坏账率上升） |
| Challenger v3 | 0.788 (+0.006) | 0.415 (-0.006) | 3.1% (-0.1pp) | 68.8% (+0.3pp) | ⏳ 需扩大样本量 |
案例启示：Challenger v2的离线指标最优（AUC 0.801），但线上坏账率反而上升。原因在于该模型过度拟合了历史数据中的样本选择偏差，导致对高风险用户的识别能力下降。这印证了离线评估的局限性——离线指标提升不等于业务效果提升。
4.7 离线-在线评估的协同策略
为了最大化评估效率，建议采用以下分层评估策略：
- 离线快速筛选层：使用AUC/LogLoss等指标，在数十个候选模型中快速淘汰明显劣质的模型，保留Top 3-5个。
- 离线深度验证层：对Top候选模型进行时间序列验证、特征稳定性分析（PSI）、分群表现分析，排除分布偏移风险。
- 在线小流量验证层：将Challenger模型部署到1%-5%的流量中，运行3-7天，观察核心在线指标的趋势和置信区间。
- 在线全量决策层：若小流量验证通过，逐步扩大流量至50%，进行完整的AB测试（通常需要2-4周），确认统计显著性和业务收益。
效率优化：建立离线-在线指标监控看板，实时追踪每个Challenger模型的离线指标变化与在线指标变化的相关性。当发现某个离线指标与在线指标的相关系数低于0.3时，应重新审视该离线指标的有效性，并考虑引入新的离线评估维度。
4.8 常见误区与避坑指南
| 误区 | 错误做法 | 正确做法 |
|---|---|---|
| 离线指标至上 | 仅凭AUC提升0.01就上线模型 | 结合业务指标（如CVR、收入）设定离线阈值，且必须经过AB测试验证 |
| 忽略新奇效应 | AB测试仅运行1天就下结论 | 运行至少1-2个完整业务周期，观察指标是否随时间衰减 |
| 样本量不足 | 小流量实验未达到统计功效就停止 | 使用功效分析（Power Analysis）预先计算所需样本量 |
| 指标选择偏差 | 只报告提升的指标，忽略下降的指标 | 建立核心指标矩阵，同时监控正面和负面指标 |
| 忽略数据分布变化 | 使用半年前的离线数据集评估当前模型 | 定期更新离线评估集，加入最新线上数据 |
核心原则：离线评估告诉你模型是否学到了历史规律，在线评估告诉你这些规律在当前业务中是否仍然成立。两者缺一不可，且在线评估具有最终决策权。