4. 模型延迟问题定义
在贷后逾期预测模型的实时或准实时推理场景中，模型延迟是指从输入数据到达推理服务开始，到模型完成预测并返回结果所经历的总时间。它是衡量模型服务性能的核心指标，直接影响业务决策的时效性和用户体验。
4.1 什么是模型延迟
模型延迟并非单一数值，而是一个从请求发起到响应返回的完整时间窗口。在贷后场景中，典型的延迟构成包括：
- 网络传输延迟：数据从上游系统（如交易网关、风控中台）传输到模型服务的时间。
- 数据预处理延迟：特征工程、缺失值填充、标准化等操作耗时。
- 模型推理延迟：模型加载、前向计算、输出解析的时间。
- 后处理与响应延迟：结果格式化、阈值判定、写入日志或数据库的时间。
实践要点：在贷后逾期预测中，模型延迟通常以毫秒（ms）为单位度量。超过 500ms 的延迟即可能触发业务告警，因为实时风控决策需要在秒级甚至毫秒级完成。
4.2 延迟的度量指标：P50 / P95 / P99 延迟
仅用平均值描述延迟会掩盖长尾问题。业界普遍采用百分位延迟来更全面地刻画延迟分布。下表对比了三个核心指标：
| 指标 | 含义 | 在贷后场景中的典型阈值 | 关注点 |
|---|---|---|---|
| P50 延迟 | 50% 的请求延迟低于此值（中位数） | ≤ 100ms | 反映大多数正常请求的体验 |
| P95 延迟 | 95% 的请求延迟低于此值 | ≤ 300ms | 衡量系统在一般压力下的表现 |
| P99 延迟 | 99% 的请求延迟低于此值 | ≤ 500ms | 捕捉极端长尾延迟，是告警核心依据 |
常见误区：仅监控 P50 延迟会导致 5% 甚至 1% 的请求延迟远超预期，而这些长尾请求往往对应高价值或高风险客户，其预测结果延迟可能直接导致逾期判断滞后。
下图展示了 P50、P95、P99 在延迟分布曲线上的位置关系：
4.3 延迟对业务的影响
在贷后逾期预测场景中，模型延迟会从多个维度对业务产生实质性影响：
- 逾期判定滞后：延迟导致模型无法在还款日当天完成预测，错过最佳催收窗口，逾期率上升 5%~15%。
- 客户体验下降：实时审批或预警响应超过 1 秒，客户流失率增加约 20%。
- 资源浪费：高延迟导致模型服务需要更多副本或更强硬件来维持吞吐，运维成本上升。
- 告警误报与漏报：延迟波动导致模型输出与业务时间戳错位，触发无效告警或遗漏真实风险。
案例数据：某消费金融公司曾因模型 P99 延迟从 200ms 飙升至 1.2s，导致每日约 3% 的逾期预测请求超时，直接造成约 80 万元/日的催收损失。通过延迟告警机制提前发现并优化后，P99 恢复至 350ms，损失降低 70%。
下图总结了延迟影响在贷后业务链中的传导路径：