3. 模型 serving 架构概览：实时 serving vs 批量 serving

在额度定价场景中，模型 serving 架构决定了决策延迟、资源成本和业务覆盖能力。根据业务对延迟和吞吐量的要求，模型 serving 主要分为实时 serving和批量 serving两种模式，而架构模式则从单体逐步演进到微服务和 Serverless。

3.1 实时 serving vs 批量 serving

实时 serving 适用于用户发起额度申请、提额请求等需要毫秒级响应的场景；批量 serving 则适用于离线批量授信、存量客户额度重定价等分钟级或小时级场景。下表从多个维度对比两种模式：

3.2 常见架构模式

模型 serving 架构从单体演进到微服务，再到 Serverless，每种模式在复杂度、运维成本和弹性能力上各有取舍。以下从架构视角分析三种主流模式：

3.2.1 单体架构（Monolithic）

单体架构将模型加载、特征工程、推理逻辑、后处理全部打包在同一个进程中。适用于早期验证或低并发场景。

• 优点：部署简单、调试方便、延迟最低（无网络开销）。
• 缺点：模型更新需重启服务、资源无法按模块隔离、扩展性差。
• 适用场景：模型原型验证、内部工具、QPS < 100 的轻量服务。

3.2.2 微服务架构（Microservices）

微服务架构将特征工程、模型推理、后处理、策略引擎拆分为独立服务，通过 RPC 或消息队列通信。这是当前金融风控领域最主流的 serving 架构。

• 优点：独立部署、独立扩缩容、模型版本管理灵活、故障隔离。
• 缺点：网络延迟增加、服务治理复杂、需要服务发现和链路追踪。
• 适用场景：高并发实时决策、多模型组合、A/B 测试。

3.2.3 Serverless 架构

Serverless 将模型推理封装为函数，由云平台自动管理资源伸缩。适用于流量波动大或低频调用的场景。

• 优点：零运维、按调用计费、自动弹性伸缩。
• 缺点：冷启动延迟（模型加载耗时）、不适合高吞吐持续请求。
• 适用场景：批量推理任务、低频策略查询、事件驱动型决策。

3.3 架构对比与选型矩阵

下表从多个工程维度对比三种架构模式，帮助团队在额度定价场景中做出合理选择：

3.4 实时 serving 架构流程（SVG）

下图展示了一个典型的实时额度定价 serving 流程，涵盖从用户请求到决策返回的完整链路：

3.5 批量 serving 架构流程（SVG）

下图展示批量额度重定价的 serving 流程，以定时调度和分布式推理为核心：

3.6 架构选型决策树

在实际额度定价项目中，架构选型可参考以下决策路径：

1. 业务延迟要求：若要求 P99 < 200ms，优先考虑实时 serving；若允许分钟级延迟，批量 serving 更经济。
2. 并发量级：QPS < 100 且模型数量少，单体架构即可；QPS > 1000 且多模型组合，必须微服务架构。
3. 流量波动：流量平稳选微服务固定集群；流量突发或低频调用，Serverless 成本优势明显。
4. 团队运维能力：团队规模小、运维经验不足，优先 Serverless 或托管服务；团队成熟，微服务架构灵活性更高。