3. 在线推理与离线批处理区别
在信用评分PD模型的生产化部署中，在线推理与离线批处理是两种截然不同的计算范式。理解它们的核心差异，直接决定了架构选型、资源规划与业务SLA的达成。本章从实时性、数据源、资源消耗和应用场景四个维度进行系统对比。
核心观点：在线推理追求“毫秒级响应、高并发、高可用”；离线批处理追求“吞吐量最大化、成本最优化、数据完整性”。两者并非互斥，而是互补——成熟的信用评分体系通常同时运行两条链路。
3.1 实时性要求
实时性是在线推理与离线批处理最本质的分水岭。
- 在线推理：用户发起申请后，系统必须在毫秒级（通常 < 200ms）内返回评分结果。例如，信用卡进件审批、实时交易反欺诈评分，超时即意味着客户流失或风险敞口扩大。
- 离线批处理：通常以天级或小时级为周期运行。例如，每日凌晨对存量客户批量重评分、月末风险报表生成。对单条数据的处理时间不敏感，但要求整体作业在指定时间窗口内完成。
工程启示：在线推理的延迟预算必须包含网络传输、特征计算、模型推理、后处理全链路。离线批处理则更关注数据倾斜、任务调度和资源利用率。
3.2 数据源差异
在线推理与离线批处理所依赖的数据源在时效性、维度、获取方式上存在显著差异。
| 对比维度 | 在线推理 | 离线批处理 |
|---|---|---|
| 数据时效 | 实时/近实时（秒级延迟） | T+1 或历史快照 |
| 数据来源 | API 调用、消息队列、缓存 | 数据仓库、HDFS、离线表 |
| 特征维度 | 轻量级（通常 < 50 维） | 全量特征（100+ 维） |
| 数据质量 | 允许少量缺失，需在线填充 | 严格清洗，保证完整性 |
| 外部数据 | 实时三方征信、黑名单查询 | 批量导入的征信报告、工商数据 |
常见陷阱：将离线批处理的复杂特征逻辑直接复用到在线推理，会导致特征计算耗时过长，突破延迟预算。必须为在线链路设计“轻量级特征工程”，必要时使用预计算特征或特征缓存。
3.3 计算资源消耗
两种模式对计算资源的需求模式完全不同，直接影响集群规划和成本控制。
- 在线推理：
- 资源需求：CPU 密集型，少量 GPU（仅用于深度学习模型）。
- 负载特征：突发性高，白天业务高峰期 QPS 可达数千，夜间低谷期几乎无请求。
- 部署方式：容器化（K8s）+ 弹性伸缩，HPA 基于 CPU/内存/QPS 指标。
- 典型配置：2C4G 起步，单 Pod 承载 50~200 QPS。
- 离线批处理：
- 资源需求：内存/IO 密集型，大规模数据 shuffle 需要大量磁盘和网络带宽。
- 负载特征：周期性爆发，每日固定时间窗口内消耗大量资源。
- 部署方式：Spark/Flink 集群 + YARN/K8s 动态资源调度。
- 典型配置：数十至数百 Core，内存按数据量动态申请。
成本优化建议：在线推理使用“预留实例 + 弹性 Spot 实例”混合部署；离线批处理利用“空闲时段”运行，错峰使用集群资源，避免与在线服务争抢。
3.4 应用场景对比
不同的业务场景对评分模型的时效性、吞吐量和成本有不同要求。下表总结了典型场景的匹配关系。
| 应用场景 | 推荐模式 | 关键考量 |
|---|---|---|
| 信用卡/贷款实时进件审批 | 在线推理 | 秒级响应，客户体验优先 |
| 存量客户月度风险重评估 | 离线批处理 | 全量覆盖，数据一致性 |
| 实时交易反欺诈评分 | 在线推理 | 毫秒级，高并发，低延迟 |
| 风险压力测试 / 组合分析 | 离线批处理 | 大规模模拟，计算密集 |
| 贷后监控预警 | 在线 + 离线混合 | 实时触发 + 批量回溯 |
| 模型回测与监控报表 | 离线批处理 | 历史数据全量计算 |
架构建议：对于“贷后监控预警”等混合场景，建议采用“在线推理做实时触发 + 离线批处理做批量回溯”的双轨架构。在线链路负责第一时间发现风险，离线链路负责生成监控报表和模型性能统计。
3.5 总结：选择决策矩阵
在实际项目中，选择在线推理还是离线批处理，可以依据以下决策矩阵快速判断：
- 响应时间要求 < 1秒？ → 必须在线推理。
- 数据量 > 100万条/批次？ → 优先离线批处理。
- 需要实时外部数据（征信/黑名单）？ → 在线推理。
- 计算逻辑复杂，单条耗时 > 500ms？ → 考虑离线批处理或异步在线。
- 业务峰值 QPS > 1000？ → 在线推理需做缓存、限流、降级设计。
- 需要全量历史数据参与计算？ → 离线批处理。
最终原则：没有绝对的最优模式，只有最适合业务场景的架构。成熟的信用评分系统通常同时维护在线推理服务和离线批处理作业，两者通过统一的模型版本管理和特征存储进行协同。