监控指标体系设计：如何定义特征健康度指标？

特征上线之后，最怕什么？

怕它悄悄变坏，而你浑然不知。

我见过太多团队，花了几周做特征工程，上线后就不管了。直到某天模型效果暴跌，排查半天才发现——某个特征的覆盖率从 95% 掉到了 30%。数据源接口改了，没人通知。嗯，这种坑，踩一次就够了。

所以，特征健康度监控必须做。而且要从四个维度下手：覆盖率、准确率、时效性、稳定性。这四个维度，基本能覆盖特征从产生到使用的全生命周期。

1. 覆盖率：特征到底覆盖了多少样本？

覆盖率是最直观的指标。说白了，就是特征值不为空的样本比例。

计算公式很简单：

覆盖率 = 非空样本数 / 总样本数 × 100%

但实际落地时，有几个细节要注意。

第一，定义清楚“非空”。

空值、NaN、空字符串、特殊占位符（比如 -999），算不算空？我个人习惯把占位符也归为空值。因为占位符对模型来说就是缺失信号，不能当作有效值。

第二，按维度拆分监控。

全局覆盖率 99% 看起来很漂亮，但拆到某个业务线可能只有 60%。我建议至少按以下维度拆分：

• 时间维度：小时级、天级趋势
• 业务维度：渠道、用户群、产品线
• 数据源维度：不同上游表或接口

第三，设定动态阈值。

不要拍脑袋定一个固定阈值，比如 95%。不同特征的覆盖率天然不同。比如用户画像特征，新用户覆盖率低是正常的。我习惯用历史 7 天或 30 天的均值 ± 3σ 作为动态基线，超出范围才告警。

2. 准确率：特征值到底对不对？

覆盖率只能告诉你特征有没有，不能告诉你对不对。准确率才是硬骨头。

准确率的定义分两种情况：

类型	定义	适用场景
有标签验证	特征值与真实值一致的样本比例	有标注数据或事后可验证的场景
无标签验证	特征值在合理范围内的样本比例	大部分线上实时特征

有标签验证好理解，但现实中大部分特征没有标签。怎么办？

我常用的方法是规则校验：

• 值域校验：年龄在 0-120 之间，金额不能为负数
• 枚举校验：性别只能是男/女/未知
• 逻辑校验：注册时间不能晚于当前时间
• 分布校验：数值型特征不能出现极端离群值

另外，交叉验证也很有用。比如用户年龄和注册时长，如果年龄 10 岁但注册时长 5 年，明显有问题。这种跨特征的逻辑校验，能发现单特征看不出的异常。

3. 时效性：特征到底有多新鲜？

特征再准，如果太旧，也没用。

时效性衡量的是特征值从数据产生到可被模型使用的时间差。不同场景对时效性的要求天差地别：

场景	要求时效	典型特征
实时推荐	秒级	当前点击、实时浏览
近线计算	分钟级	会话内行为聚合
离线批处理	T+1	历史统计、画像标签

时效性监控的核心指标有两个：

• 延迟（Latency）：特征从产生到落库的时间
• 新鲜度（Freshness）：特征值对应的时间戳与当前时间的差值

举个例子。一个实时特征，延迟 500ms 以内算正常。但如果某天延迟突然涨到 5 秒，说明处理链路出问题了。而离线特征，如果 T+1 的数据到 T+3 还没更新，那就要查调度任务了。

我个人习惯给每个特征打上时效等级标签，然后按等级设定不同的监控粒度和告警阈值。实时特征秒级监控，离线特征天级监控，这样告警量可控，也不会漏掉关键问题。

4. 稳定性：特征会不会忽高忽低？

稳定性是四个维度里最容易被忽视的。但说实话，它往往是最先出问题的。

稳定性衡量的是特征分布随时间的变化程度。特征分布变了，模型预测分布也会变，效果自然跟着波动。

常用的量化方法：

• PSI（Population Stability Index）：最经典的方法，衡量两个时间段分布差异
• KS 统计量：衡量分布最大偏移
• 均值/方差漂移：简单但有效，适合快速扫描

PSI 的计算公式：

PSI = Σ (实际占比 - 预期占比) × ln(实际占比 / 预期占比)

经验阈值：

PSI 范围	含义	建议动作
< 0.1	无显著变化	正常监控
0.1 - 0.25	轻度漂移	关注，排查原因
> 0.25	显著漂移	立即告警，评估影响

但 PSI 有个坑——它对分箱方式很敏感。同样的数据，分箱不同，PSI 可能差好几倍。我建议用等频分箱，每箱样本量不低于 5%。

5. 四大维度如何联动？

单独看每个维度都有意义，但真正的高手会看它们之间的关联。

举个例子：

• 覆盖率下降 + 稳定性漂移 → 可能是数据源部分失效
• 准确率下降 + 时效性变差 → 可能是处理链路超时导致用了默认值
• 稳定性漂移 + 准确率正常 → 可能是业务场景变化，特征需要重新评估

我习惯建一个特征健康度仪表盘，把四个维度的指标放在一起看。每个维度用红黄绿三色标识，一目了然。

下面是我常用的特征健康度评估框架：

6. 落地建议：从哪开始？

如果你刚开始搭建特征监控体系，我建议不要贪多求全。

第一步，先做覆盖率和稳定性。这两个指标最容易落地，数据也最容易获取。覆盖率用 SQL 就能算，稳定性用 PSI 也不复杂。

第二步，再上时效性。需要埋点或日志，稍微麻烦一点，但收益很大。

第三步，最后攻克准确率。准确率最难，需要规则引擎或标注数据，可以慢慢迭代。