4. 监控指标体系：特征新鲜度、特征分布漂移、特征缺失率

特征服务的稳定性不仅取决于服务可用性，更取决于数据质量。批次偏移自动化监控的核心，是建立一套可量化、可预警的指标体系。本章聚焦三个关键维度：特征新鲜度（时效性）、特征分布漂移（分布一致性）和特征缺失率（完整性）。

4.1 特征新鲜度（Feature Freshness）

特征新鲜度衡量的是特征数据从产生到可用于推理的时间差。在批次离线特征场景中，新鲜度直接决定了模型能否捕捉到最新的业务状态。

4.1.1 定义与计算

4.1.2 监控策略

• 分区时间戳校验： 对每个特征表的最新分区时间戳进行轮询，若超过阈值（如 2 小时）未更新，触发 P1 级告警。
• 端到端延迟链路： 在特征生产链路中埋入时间戳标记点（源事件时间 → ETL完成时间 → 服务加载时间），构建延迟拓扑图。
• 新鲜度SLA： 按特征重要性分级设定 SLA。例如：核心实时特征延迟 < 10 分钟，离线日级特征延迟 < 24 小时。

4.2 特征分布漂移（PSI / KL 散度）

特征分布漂移用于检测特征在时间维度上的统计分布是否发生显著变化。即使特征新鲜度正常，分布偏移也可能导致模型预测失效。

4.2.1 核心指标对比

4.2.2 PSI 计算步骤

1. 分箱： 将特征值域划分为 K 个等频或等距区间（建议 10~20 箱）。
2. 计算实际占比： 统计当前批次每个箱内的样本占比 Actual_i。
3. 计算期望占比： 使用基线批次（如训练集）的占比 Expected_i。
4. 计算 PSI：

PSI = Σ (Actual_i - Expected_i) * ln(Actual_i / Expected_i)
     i=1..K

4.2.3 漂移监控策略

• 双窗口对比： 以最近 7 天为滑动窗口 vs. 训练集基线窗口，每日计算 PSI。
• 特征级告警： 当单个特征的 PSI > 0.25 时，触发特征漂移告警，并自动关联该特征在模型中的权重。
• 漂移根因定位： 结合特征重要性排序，优先排查高权重特征的漂移原因（如上游业务策略变更、数据源缺失）。

4.3 特征缺失率（Missing Rate）

特征缺失率是衡量特征值完整性的基础指标。高缺失率不仅降低模型覆盖率，还可能引入填充偏差。

4.3.1 定义与分级

4.3.2 监控要点

• 逐特征统计： 对每个特征独立计算缺失率，避免平均值掩盖局部问题。
• 缺失模式分析： 区分“随机缺失”与“系统性缺失”。系统性缺失（如某字段整列为空）通常指向ETL逻辑错误。
• 填充策略监控： 若使用均值/中位数填充，需同时监控填充值的分布是否偏离原始分布。

-- 示例：特征缺失率监控 SQL（Spark SQL）
SELECT
  feature_name,
  COUNT(*) AS total_rows,
  SUM(CASE WHEN feature_value IS NULL THEN 1 ELSE 0 END) AS null_count,
  ROUND(SUM(CASE WHEN feature_value IS NULL THEN 1 ELSE 0 END) / COUNT(*), 4) AS missing_rate
FROM feature_table
WHERE dt = '${yesterday}'
GROUP BY feature_name
HAVING missing_rate > 0.01
ORDER BY missing_rate DESC;

4.4 指标体系联动与告警分级

三个指标并非孤立存在，实际监控中需要联合判断，避免误报或漏报。