4. 硬件选型与异构计算：CPU vs GPU vs TPU vs FPGA

在AML推理链路中，硬件选型直接决定了延迟天花板。不同计算架构在并行度、内存带宽、数据流控制和编译优化上存在本质差异。本章从微架构特征出发，对比CPU、GPU、TPU、FPGA四类处理器在低延迟推理场景下的适用性，并给出可落地的选型策略。

4.1 四类处理器微架构对比

4.2 低延迟场景硬件选型策略

选型策略需要根据延迟预算和模型特征进行分层决策。以下给出三个典型场景的推荐方案：

4.2.1 场景一：在线服务 < 10ms P99

• 推荐硬件：CPU (Intel Xeon with AMX / AMD EPYC with AVX-512) + FPGA 加速卡
• 理由：CPU处理前处理、后处理及控制逻辑；FPGA卸载Transformer中的矩阵乘和注意力计算。
• 典型配置：Intel Xeon 8480+ (AMX BF16) + Xilinx Alveo U280
• 延迟实测：BERT-Large单次推理可达 3-5ms (FPGA) vs 8-12ms (纯CPU)

4.2.2 场景二：批量推理 < 50ms P99

• 推荐硬件：GPU (NVIDIA L40S / H100) 或 TPU v5e
• 理由：GPU/TPU在batch size ≥ 4时吞吐优势明显，适合广告推荐、内容审核等场景。
• 典型配置：NVIDIA H100 (FP8 Tensor Core) + TensorRT-LLM
• 延迟实测：LLaMA-7B batch=8 可达 25-35ms

4.2.3 场景三：极致低延迟 < 1ms P99

• 推荐硬件：FPGA (Xilinx Versal / Intel Agilex) 或 专用ASIC
• 理由：FPGA可实现端到端流水线，无中断、无调度抖动；ASIC如Groq LPU进一步消除内存墙。
• 典型配置：Xilinx Versal AI Core + 定制HLS内核
• 延迟实测：ResNet-50 单次推理可达 0.3-0.8ms

4.3 异构计算架构设计

异构计算不是简单堆叠硬件，而是设计数据流管道，让每个计算阶段运行在最合适的处理器上。以下给出一个典型的低延迟推理异构架构：

4.4 硬件选型决策流程

以下决策树帮助团队快速锁定硬件方案：

1. 延迟预算 < 1ms？ → FPGA 或 ASIC；跳过GPU/TPU。
2. 延迟预算 1-10ms？ → CPU + FPGA 异构；CPU处理动态部分，FPGA卸载固定计算。
3. 延迟预算 10-50ms？ → GPU (batch=1~4) 或 TPU；使用TensorRT/XLA优化。
4. 延迟预算 > 50ms？ → GPU (大batch) 或 TPU；优先吞吐。
5. 模型是否包含动态shape/控制流？ → 必须保留CPU核；FPGA/TPU难以高效处理。
6. 是否需要确定性延迟？ → FPGA > CPU > GPU > TPU；GPU的线程调度抖动不可控。

4.5 关键指标与选型对照表