1. 课程导入
欢迎进入《金融模型CPU与GPU推理性能优化实战》。在金融行业，模型推理已经从“离线批处理”快速走向“实时决策”。无论是高频交易中的信号计算、信贷审批中的评分卡推理，还是风控反欺诈中的深度模型在线打分，推理延迟和吞吐量都直接关系到业务收益与用户体验。本课程的目标，不是泛泛讨论“性能优化”，而是聚焦金融场景下CPU与GPU推理链路的可落地优化方法。
一、学习目标：从“能跑”到“跑得快、跑得稳、跑得省”
完成本课程后，你应当具备以下能力：
- 建立性能度量体系：能够区分延迟、吞吐、P50/P95/P99、首包时间、批处理效率等指标，并理解它们在金融业务中的不同权重。
- 定位推理瓶颈：能够判断瓶颈在数据预处理、模型计算、内存拷贝、框架调度还是服务编排层。
- 掌握CPU优化手段：包括算子融合、线程绑定、NUMA亲和、量化、ONNX Runtime/OpenVINO等推理后端调优。
- 掌握GPU优化手段：包括CUDA流并行、动态批处理、TensorRT/ONNX Runtime GPU、显存复用、Kernel融合与精度校准。
- 形成工程闭环：能够设计压测方案、采集日志、分析火焰图、做A/B对比，并输出可复现的优化报告。
核心判断：金融推理优化不是单纯“换GPU”或“加线程”，而是在延迟、吞吐、成本、精度和稳定性之间寻找最优平衡点。
二、核心概念：金融推理性能的五个关键维度
在进入实战前，需要统一语言。金融模型推理性能通常围绕以下五个维度展开：
| 维度 | 含义 | 金融场景示例 | 常见优化方向 |
|---|---|---|---|
| 延迟 | 单次请求从输入到输出的耗时 | 实时反欺诈打分需<50ms | 算子融合、量化、减少拷贝 |
| 吞吐 | 单位时间可处理的请求数 | 批量信贷审批夜间跑批 | 动态批处理、多流并行 |
| 资源效率 | CPU/GPU/内存/显存利用率 | GPU利用率低但延迟高 | 线程绑定、显存复用、批大小调优 |
| 精度 | 优化后模型输出与原始模型的偏差 | 评分卡分数偏移影响授信 | FP16/INT8校准、敏感层保留FP32 |
| 稳定性 | 长尾延迟、错误率、资源抖动 | P99延迟突增导致交易失败 | 限流、熔断、预热、监控告警 |
其中，延迟与吞吐往往相互制约。增大批处理可提升吞吐，但可能推高单请求延迟；降低精度可加速计算，但可能影响金融决策的合规性。因此，优化必须结合业务SLA来设定目标。
三、整体框架：从数据到决策的推理链路
金融模型推理不是孤立的“模型前向计算”，而是一条完整链路。下图展示了CPU与GPU混合推理的典型结构，以及各层可能出现的性能瓶颈。
从图中可以看到，优化对象不仅是模型本身，还包括数据管道、服务调度、CPU后端、GPU后端以及观测反馈。任何一个环节的短板，都会让整体性能受限。
四、实战路线图：30章如何一步步推进
本课程按照“先建立认知，再分端优化，最后工程闭环”的路线展开。你可以把它理解为一条从诊断到落地的路径：
- 认知与度量：理解金融推理场景、性能指标、基准测试方法，学会用数据说话。
- CPU推理优化：从算子、线程、内存、量化到推理后端选型，覆盖常见CPU瓶颈。
- GPU推理优化：从CUDA基础、TensorRT、动态批处理到多流并行与显存管理。
- 混合与工程化：CPU/GPU协同、服务编排、压测、监控、成本控制与故障复盘。
- 案例实战：围绕风控、评分卡、时序信号等金融场景，完成端到端优化。
学习建议：每章都准备一个可运行的最小示例或压测脚本。不要只看结论，要亲手采集一次延迟分布和GPU利用率，才能真正理解瓶颈在哪里。
五、常见误区与复盘思路
在金融推理优化中，初学者最容易陷入以下误区：
- 只看平均延迟：金融业务更关心P99甚至P999，平均值会掩盖长尾问题。
- 盲目上GPU：小模型、低并发场景下，GPU的拷贝开销和调度开销可能反而拖慢推理。
- 忽略预处理：特征工程、字符串处理、Python GIL可能才是真正的瓶颈。
- 过度量化：INT8可能带来精度漂移，金融评分场景必须做校准和回归验证。
- 没有基线：没有优化前的稳定基线，就无法判断调优是否真正有效。
复盘原则：任何优化都必须可复现、可回滚、可监控。金融生产环境不接受“感觉快了”，只接受“指标证明快了，且精度与稳定性未退化”。
接下来，你将带着这套框架进入具体技术细节。请先记住一句话：金融推理性能优化的本质，是在业务约束下，对计算、内存、调度和精度进行系统性权衡。