4. 模型部署的硬件选型
病理AI模型训练完成后，真正决定它能否在科室里“跑得动、跑得稳、跑得起”的，是推理阶段的硬件选型。同一套模型权重，放在CPU服务器、GPU服务器或边缘设备上，延迟可能相差一个数量级，单机并发能力相差数倍，而三年总拥有成本（TCO）的构成也完全不同。本节围绕成本、延迟、并发能力三个维度展开对比，并结合科室日均切片量给出容量规划的实用方法。
三类硬件的推理特性差异
CPU推理依赖通用计算核心与SIMD指令（如AVX-512、AMX），优势在于部署简单、无需额外驱动、单机可承载多实例，适合小批量、低并发、对延迟不敏感的辅助任务，例如质控图像筛查、缩略图生成、报告后处理。其短板是矩阵乘加吞吐有限，对卷积和Transformer类病理模型，单张全切片图像（WSI）推理往往需要数十秒到数分钟。
GPU推理通过CUDA/TensorRT或ONNX Runtime的GPU执行提供者，把卷积、注意力等算子映射到数千个并行核心上。以一张4096×4096的肿瘤区域patch为例，ResNet-50级别模型在单张中端GPU上单patch推理约3～8毫秒，ViT-B级别约15～40毫秒。GPU的代价是采购成本高、功耗大、需要显存管理，且多进程并发时显存是硬约束。
边缘设备（如Jetson Orin、昇腾Atlas 200/500、Intel NUC+VPU）把算力下沉到扫描仪旁或科室本地，优势是低延迟、数据不出科、功耗低、可离线运行；劣势是算力与显存受限，通常只适合轻量模型或分块推理，模型升级和算子兼容性也更受约束。
成本不能只看采购价
硬件成本应拆成采购成本、功耗与散热、机架与运维、以及扩展成本四部分。以教学示例估算：一台双路CPU服务器采购约4～6万元，整机功耗约300～500 W；一台搭载单张中端推理GPU的服务器采购约8～15万元，整机功耗约600～900 W；一台边缘设备采购约0.8～2万元，功耗约30～60 W。按每天运行8小时、电价0.8元/度、三年折旧计算，GPU服务器的电费可能达到数千元，而边缘设备仅数百元。若科室日均切片量只有几十张，GPU的算力利用率长期低于20%，单位切片推理成本反而高于CPU方案。
因此，成本对比的正确口径是“每千张切片推理成本”，而不是设备标价。它等于（三年采购折旧 + 三年电费 + 运维分摊）÷ 三年累计处理切片量。只有当GPU带来的吞吐提升足以摊薄其固定成本时，GPU才具备经济性。
延迟与并发：两个必须同时满足的指标
延迟决定单张切片的周转时间，直接影响报告出具速度；并发决定高峰期能同时处理多少张切片，直接影响排队长度。二者不能互相替代。一个常见误区是只看单patch延迟，忽略WSI需要切分成数千个patch、再聚合结果，端到端延迟往往是单patch延迟的数百倍。
以教学示例说明：某模型单patch推理在GPU上为20 ms，一张WSI切出2000个patch，若串行处理则端到端约40 s；通过批处理（batch=32）和流水线，可压缩到8～12 s。若并发4路，则单卡每分钟可完成约20～30张WSI的推理。CPU方案单patch约200 ms，即使批处理，单张WSI仍需数分钟，并发能力也受内存带宽限制。
结合日均切片量的容量规划
容量规划的基本步骤是：先统计日均切片量与峰值倍数，再估算单张切片的patch数和单patch推理时间，然后计算所需并发路数，最后换算成设备数量并预留余量。下面给出一个可直接套用的计算示例。
输入参数（教学示例，非实测）：
日均切片量 A = 300 张/天
峰值系数 k = 1.5
单张切片 patch 数 P = 2000
单 patch 推理时间 t = 20 ms
有效工作秒数 T = 8 h × 3600 = 28800 s
计算：
日均 patch 总量 = A × P = 600000
峰值 patch 总量 = 600000 × 1.5 = 900000
所需并发路数 N = 900000 × 0.02 s ÷ 28800 s ≈ 0.625 路
结论：
单张中端 GPU 即可满足，但需预留模型切换与重试开销，
建议配置 1 张 GPU + 1 张备用或 2 张低端 GPU 做冗余。
若日均切片量提升到1500张，则N≈3.1路，单卡已接近饱和，应配置2张GPU或1张高端GPU并做批处理优化。若日均超过3000张，则需要多卡集群，并考虑任务队列、优先级调度和失败重试机制。
边缘设备的定位
边缘设备不适合承担全量主推理，但在三类场景中价值明确：一是扫描仪旁实时质控，扫描完成即判断是否需要重扫；二是数据不出科的隐私敏感场景，切片在本地完成初筛；三是网络不稳定或离线环境下的兜底推理。选型时应重点验证目标模型的算子兼容性、显存是否够放单张WSI的分块、以及是否支持模型热更新。
选型决策要点
- 先定延迟底线：报告周转要求决定单张WSI端到端延迟上限，再反推单patch延迟与批处理策略。
- 再定并发上限：按峰值切片量计算所需并发路数，避免按日均值配置导致高峰期排队。
- 用TCO而非标价比较：把电费、运维、扩展和冗余纳入三年总成本。
- 保留冗余与可扩展性：至少预留30%峰值余量，并确保机箱、电源、PCIe槽位支持后续加卡。
- 实测验证：用科室真实WSI和真实模型做压测，记录P50/P95延迟与吞吐，而不是依赖厂商标称算力。
硬件选型没有唯一正确答案，只有与科室切片量、延迟要求、预算和运维能力匹配的方案。把成本、延迟、并发三个维度量化后，容量规划就从“拍脑袋买卡”变成了可计算、可验证、可扩展的工程决策。