2. Serving 架构基础：同步推理与异步推理、在线 Serving 与离线 Batch Serving

模型部署后的 Serving 架构直接决定了推理延迟、吞吐量、资源利用率以及业务场景的适配性。本章从两个核心维度拆解 Serving 架构：推理交互模式（同步 vs 异步）与任务执行模式（在线 vs 离线 Batch）。理解这两组概念及其组合方式，是设计回测灰度系统的基础。

2.1 同步推理与异步推理

同步推理与异步推理的核心区别在于：客户端发出请求后是否需要阻塞等待完整响应。两种模式在延迟敏感度、资源调度、错误处理上存在显著差异。

2.2 在线 Serving 与离线 Batch Serving

在线 Serving 与离线 Batch Serving 的区别在于数据到达方式和时效性要求。在线 Serving 处理实时到达的单个请求，离线 Batch Serving 处理预先准备好的批量数据。

2.3 四种组合模式与架构选型

将同步/异步与在线/离线交叉组合，得到四种典型的 Serving 架构模式。不同模式适用于不同的回测灰度阶段。

2.4 回测灰度中的架构组合策略

在实际的回测灰度系统中，通常不会只使用单一模式，而是根据流量阶段和评估目标组合使用多种架构：

1. 灰度发布阶段：使用 同步 + 在线 模式，将小比例实时流量路由到新模型，与基线模型同步对比延迟和效果指标。
2. 回测评估阶段：使用 异步 + 离线 模式，将历史数据批量提交到回测任务队列，异步完成大规模推理和评估。
3. 长尾模型验证：对于推理耗时较长的模型（如大语言模型、视频模型），使用 异步 + 在线 模式，避免阻塞灰度流量。
4. 快速回归验证：在模型迭代过程中，使用 同步 + 离线 模式对小批量测试集进行快速验证。

2.5 架构选型决策树

以下决策树可以帮助你在设计 Serving 架构时快速选择正确的组合模式：

输入：推理场景需求
│
├─ 是否需要实时返回结果？
│   ├─ 是 → 在线 Serving
│   │   ├─ 推理耗时 < 1s？
│   │   │   ├─ 是 → 同步 + 在线（实时 API）
│   │   │   └─ 否 → 异步 + 在线（回调/轮询）
│   │   └─ 是否需要灰度流量对比？
│   │       └─ 是 → 同步 + 在线 + 流量路由
│   │
│   └─ 否 → 离线 Batch Serving
│       ├─ 数据量 < 10K 条？
│       │   ├─ 是 → 同步 + 离线（快速验证）
│       │   └─ 否 → 异步 + 离线（大规模回测）
│       └─ 是否需要 checkpoint 和断点续跑？
│           └─ 是 → 异步 + 离线 + 分布式任务调度
│
输出：Serving 架构组合模式