3. Model Serving 基础概念：模型推理、在线服务与离线批处理、延迟与吞吐量、SLA 要求
在贷后风险拦截场景中，模型训练完成后必须通过 Model Serving（模型服务）将推理能力暴露给业务系统。理解其核心概念是设计高可用、低延迟拦截系统的前提。本节从四个维度展开：模型推理的本质、在线与离线两种服务模式、延迟与吞吐量的权衡、以及 SLA 的工程约束。
3.1 模型推理：从输入到决策的计算过程
模型推理（Inference）是指将训练好的模型加载到内存中，接收输入特征，执行前向计算并输出预测结果的过程。在贷后场景中，推理的输入通常是用户画像、还款记录、多头借贷数据等结构化特征，输出则是逾期概率、风险等级或拦截决策。
关键区别：训练阶段关注梯度下降与参数更新，推理阶段只关注前向传播（Forward Pass）。推理对计算效率的要求远高于训练，因为每次请求都需要在毫秒级完成。
3.2 在线服务与离线批处理
贷后风险拦截根据业务时效性要求，通常采用两种服务模式：在线实时服务和离线批处理。两者在架构、延迟、资源消耗上差异显著。
| 对比维度 | 在线实时服务 | 离线批处理 |
|---|---|---|
| 触发方式 | API 请求驱动（如用户点击借款） | 定时调度（如每日凌晨跑批） |
| 典型延迟 | < 200ms（P99） | 分钟级 ~ 小时级 |
| 吞吐量 | 数百 ~ 数千 QPS | 百万级样本/批次 |
| 资源使用 | CPU/GPU 常驻，低利用率波动 | 按需分配，高利用率峰值 |
| 典型场景 | 实时拦截、反欺诈决策 | 批量评分、存量用户风险重算 |
| 模型更新 | 热加载 / 蓝绿部署 | 重启服务 / 新批次任务 |
贷后实践建议：实时拦截（如借款申请时）必须使用在线服务；而每日风险重算、报表生成等非实时任务，优先使用离线批处理以节省成本。
3.3 延迟与吞吐量：性能天平的两端
在 Model Serving 中，延迟（Latency）和吞吐量（Throughput）是最核心的性能指标，且通常相互制约。
- 延迟（Latency）：单个请求从发出到收到完整响应所花费的时间。通常关注平均值、P95、P99 分位值。贷后实时拦截场景要求 P99 < 200ms。
- 吞吐量（Throughput）：单位时间内系统能处理的请求数量，常用 QPS（Queries Per Second）或 TPS（Transactions Per Second）衡量。
常见误区：盲目追求低延迟可能导致吞吐量下降（如为每个请求分配独占资源）；反之，过度提升吞吐量（如增大批处理大小）会显著增加单次延迟。需要根据业务场景找到平衡点。
| 优化方向 | 常用手段 | 对延迟影响 | 对吞吐量影响 |
|---|---|---|---|
| 模型量化 | FP16 / INT8 量化 | 降低 20-40% | 提升 1.5-2x |
| 批处理（Batching） | 动态批处理 / 固定批大小 | 增加（排队等待） | 显著提升 |
| 模型剪枝 | 移除冗余神经元 | 降低 10-30% | 提升 1.2-1.5x |
| 硬件加速 | GPU / TPU / 推理芯片 | 大幅降低 | 大幅提升 |
| 缓存策略 | 特征缓存 / 结果缓存 | 降低（命中时） | 提升（减少重复计算） |
3.4 SLA 要求：服务等级协议
SLA（Service Level Agreement）是 Model Serving 系统对业务方的承诺，通常包含以下关键指标：
- 可用性（Availability）：服务正常运行时间占比，通常要求 99.9% 以上（每月宕机时间不超过 43 分钟）。
- 延迟承诺（Latency SLO）：例如“P99 延迟 < 200ms”，即 99% 的请求在 200ms 内完成。
- 吞吐量承诺（Throughput SLO）：例如“支持 2000 QPS 持续 10 分钟”。
- 错误率（Error Rate）：例如“HTTP 5xx 错误率 < 0.1%”。
贷后场景 SLA 示例：某头部消费金融公司对实时拦截模型服务的 SLA 要求为：可用性 99.95%，P99 延迟 150ms，最大支持 3000 QPS，错误率低于 0.05%。超出 SLA 将触发自动扩容或降级策略。
3.5 核心概念关系总结
以下表格梳理了 Model Serving 四大基础概念在贷后风险拦截中的关联与约束：
| 概念 | 贷后场景定义 | 关键指标 | 常见瓶颈 |
|---|---|---|---|
| 模型推理 | 输入特征 → 输出风险分 | 推理耗时、模型大小 | 特征工程复杂度、模型深度 |
| 在线服务 | 实时 API 拦截借款请求 | P99 延迟、QPS | 网络 I/O、模型加载 |
| 离线批处理 | 每日批量重算存量用户风险 | 吞吐量、完成时间 | 数据倾斜、资源争抢 |
| SLA 要求 | 可用性、延迟、错误率承诺 | 可用性%、P99 延迟、错误率 | 突发流量、模型退化 |
工程落地要点：在贷后风险拦截系统中，建议先明确 SLA 目标，再选择在线或离线模式，最后针对延迟和吞吐量进行针对性优化。切忌脱离业务指标盲目追求技术指标。