1. PRD中的指标陷阱：为什么离线指标高，线上效果却很差？

这个问题，我几乎在每个项目里都会遇到。你辛辛苦苦调了一个模型，离线AUC刷到了0.98，心里美滋滋。结果一上线，用户反馈说「推荐的东西完全不对」，业务指标纹丝不动。嗯，这种场景我太熟悉了。

为什么会这样？说白了，离线指标和线上效果之间，隔着一道「数据鸿沟」。今天我们就来拆解一下，这个坑到底是怎么挖出来的。

1.1 离线评估的「温室效应」

离线评估就像在温室里种花。环境可控，数据干净，标签明确。但线上环境是真实的野外——有噪音、有延迟、有各种意想不到的干扰。

我个人习惯把离线指标分为两类：

• 可复现指标：比如AUC、准确率、召回率。这些指标在相同数据上能稳定复现。
• 易漂移指标：比如CTR、CVR、用户留存。这些指标受环境变化影响极大。

你想想看，离线指标高，很可能只是因为你的测试集和训练集太「像」了。模型记住了数据分布，而不是学到了真正的规律。

1.2 常见的三大指标陷阱

我在项目中遇到过不少「离线漂亮、线上翻车」的案例。总结下来，主要有三个陷阱：

陷阱一：数据分布不一致

离线数据是历史数据，线上数据是实时数据。用户行为在变，商品在变，甚至季节、天气都在影响用户决策。

举个例子：

# 离线数据：2024年1月的用户点击日志
# 线上数据：2024年6月的实时用户请求
# 用户偏好可能已经发生了迁移

我曾经做过一个电商推荐项目。离线AUC高达0.97，上线后CTR直接腰斩。后来一查，离线数据里大量是促销期间的点击行为，而线上是日常流量。模型学会了「促销偏好」，而不是「真实偏好」。

陷阱二：评估指标与业务目标错位

这是最隐蔽的陷阱。你优化的是AUC，业务关心的是GMV。AUC高不代表GMV高。

来看一个典型的错位：

指标类型	离线指标	线上业务指标
推荐系统	AUC、NDCG	CTR、用户停留时长
搜索系统	MAP、MRR	点击率、转化率
风控系统	精确率、召回率	误杀率、资金损失

你想想看，AUC高只能说明模型对正负样本的排序能力好。但用户会不会点击，还取决于展示位置、文案、图片、价格等很多因素。这些在离线评估里根本看不到。

陷阱三：样本选择偏差

离线数据本身就有偏差。比如：

• 只有曝光过的商品才有反馈数据
• 用户点击了才被记录为正样本
• 未曝光的商品，我们不知道用户是否喜欢

这就导致了一个问题：模型学到的其实是「曝光后的用户偏好」，而不是「全量商品中的用户偏好」。

1.3 如何缩小离线与线上的差距？

嗯，这里要注意。不是离线指标没用，而是我们要用对方法。我个人习惯做三件事：

1. 离线模拟线上环境：在离线评估时，模拟线上的请求分布、延迟、数据新鲜度。
2. 多指标联合评估：不要只看一个指标。AUC + 业务指标 + 用户反馈，三个维度一起看。
3. 小流量验证：离线再漂亮，也要先上小流量。我一般建议先放1%的流量，观察24小时。

说白了，离线指标是「体检报告」，线上效果是「实际运动表现」。体检报告说你能跑马拉松，不代表你真的能跑完。你得先跑个5公里试试。

1.4 写在PRD里的正确姿势

最后，分享一下我在PRD里怎么写指标部分：

## 模型评估指标

### 离线指标（目标值）
- AUC ≥ 0.85（按时间分片验证，训练集：2024-01~2024-05，测试集：2024-06）
- 精确率 ≥ 0.70（Top-100推荐结果）
- 召回率 ≥ 0.60（Top-100推荐结果）

### 线上指标（观测值）
- CTR ≥ 基线模型 + 5%（小流量实验，1%流量，观察48小时）
- 用户停留时长 ≥ 基线模型 + 3%

### 已知风险
- 离线数据存在曝光偏差，未曝光商品无反馈
- 线上效果可能受季节性因素影响
- 建议上线后持续监控7天

这样写，大家一看就明白。离线指标是「预期」，线上指标是「验证」。两者之间留出合理的缓冲空间。