3. 边缘硬件平台选型
医学影像推理任务有一个非常鲜明的特征：模型往往不是“越大越好”，而是“越稳越准越好”。一台CT或MRI设备旁部署的边缘盒子，通常要在几十毫秒到几百毫秒内完成一次分割或检测，同时必须满足功耗、散热、接口和长期稳定运行的要求。因此，硬件平台选型不是单纯比较TOPS（每秒万亿次运算）数字，而是要把算力、功耗、内存带宽、接口能力和软件生态放在同一张表里权衡。
五类平台的本质差异
GPU（图形处理器）拥有大量并行计算核心，适合卷积、矩阵乘等规则稠密计算，生态成熟，CUDA、TensorRT、ONNX Runtime等工具链完善，是当前医学影像AI推理最常用的加速平台。缺点是功耗较高，典型边缘GPU模块功耗在15W到60W之间，需要主动散热。
NPU（神经网络处理器）是专门为神经网络算子设计的加速器，通常以IP核形式集成在SoC中，或作为独立加速卡存在。它的优势是能效比高，常见边缘NPU在2W到10W功耗下可提供数TOPS到数十TOPS算力，适合固定模型、批量推理的场景。但NPU对算子支持有边界，遇到自定义算子或动态shape时可能需要回退到CPU，导致延迟抖动。
FPGA（现场可编程门阵列）通过可编程逻辑实现定制数据通路，优势在于确定性延迟、低功耗和接口灵活。它可以把预处理、推理、后处理串成流水线，适合对延迟抖动极敏感的介入影像或超声实时处理。代价是开发周期长，需要RTL或HLS（高层次综合）能力，模型更新不如GPU方便。
ASIC（专用集成电路）是为特定算法定制的芯片，能效比和成本在大规模量产时最优，但灵活性最低，一旦模型结构发生较大变化，硬件可能无法适配。医学影像AI算法迭代快，纯ASIC方案通常只用于算法已经高度稳定的产品线。
SoC（系统级芯片）不是与上述四者并列的计算单元，而是把CPU、GPU、NPU、DSP、ISP、内存控制器和各类接口集成在一颗芯片上的系统。边缘部署中真正落地的形态往往是“SoC + 加速器”：例如NVIDIA Jetson系列是“ARM CPU + GPU + NPU”，华为昇腾、瑞芯微RK3588等则是“ARM CPU + NPU + GPU”。选型时要把SoC看作承载平台，再判断其内部加速器是否匹配任务。
算力、功耗与内存：不能只看TOPS
假设我们要部署一个用于肺结节检测的3D CNN模型，输入为128×128×128的CT体数据，模型参数量约1200万，单次推理约需30 GFLOPs。如果目标延迟是100ms，那么理论算力需求为30 GFLOPs ÷ 0.1s = 300 GFLOPS，即0.3 TOPS。看起来很低，但实际有效算力往往只有标称值的20%到50%，因为存在内存访问瓶颈、算子调度开销和预处理耗时。因此选型时建议把标称算力除以3到5倍作为安全余量。
内存方面，3D医学影像模型对显存或片上内存的需求远高于2D模型。上述模型FP32权重约48MB，激活值可能达到数百MB。如果平台只有4GB LPDDR4，且需要同时运行多个模型或缓存多帧数据，就会频繁触发内存交换，延迟急剧上升。因此，边缘平台的内存容量建议不低于8GB，带宽建议不低于50GB/s；对于3D分割任务，优先选择带独立显存或高带宽LPDDR5的SoC。
功耗与散热是边缘部署的硬约束。手术室、移动DR、便携超声等场景往往没有风扇，只能依靠被动散热，此时平台功耗应控制在10W以内。NPU和SoC方案在这方面优势明显；GPU方案若功耗超过30W，通常需要主动散热，会带来噪音、积灰和可靠性问题。
接口能力：决定能否“接得进、传得出”
医学影像设备常见的接口包括DICOM网络、USB 3.0、HDMI/DisplayPort、MIPI CSI-2、PCIe和千兆/万兆以太网。选型时要确认平台是否原生支持这些接口，避免额外转接带来的延迟和故障点。例如，内镜或超声前端通常通过MIPI CSI-2输出原始图像，如果SoC没有MIPI接口，就需要FPGA或桥接芯片转换，增加成本和功耗。再如，PACS系统通过DICOM over TCP/IP传输影像，平台需要稳定的千兆网口和足够的CPU性能处理DICOM解析。
选型决策：从任务约束反推平台
实际选型可以按以下顺序推进：先明确延迟上限、功耗上限、接口清单和模型更新频率，再筛选候选平台，最后用真实模型做端到端压测。下面给出一份可直接参考的选型决策表，其中参数为示例性合理假设，用于说明判断逻辑，不代表任何具体产品的实测值。
| 任务场景 | 延迟要求 | 功耗约束 | 推荐平台 | 关键理由 |
|---|---|---|---|---|
| CT肺结节3D检测 | ≤150ms | ≤60W | 边缘GPU或高算力NPU | 大显存、高带宽、生态成熟 |
| 超声实时分割 | ≤30ms，抖动≤5ms | ≤15W | FPGA或NPU+SoC | 确定性延迟、低功耗 |
| 便携DR肺炎筛查 | ≤300ms | ≤8W | SoC内置NPU | 低功耗、接口集成度高 |
| 病理切片批量分析 | 吞吐优先 | ≤75W | GPU服务器或边缘GPU | 高吞吐、批处理能力强 |
| 已固化算法量产设备 | 固定 | ≤5W | ASIC | 成本与能效最优 |
量化与精度：选型后必须验证的一步
无论选择哪种平台，医学影像AI推理通常都需要量化。FP32转FP16一般精度损失很小，适合GPU和部分NPU；INT8量化可显著提升能效比，但对分割边界和小病灶敏感。建议在选型阶段就用目标平台跑一遍量化后的Dice系数或敏感度，确认下降幅度在临床可接受范围内。例如，某肺结节检测模型FP32的敏感度为0.92，INT8量化后若降至0.89，且假阴性主要集中在小结节，就需要评估是否改用FP16或调整量化校准集。
总之，边缘硬件选型没有“最好”，只有“最匹配”。GPU适合快速落地和复杂模型，NPU和SoC适合低功耗集成场景，FPGA适合确定性延迟和接口定制，ASIC适合算法固化后的量产。把延迟、功耗、内存、接口和模型迭代频率这五个约束列清楚，再用真实模型做端到端验证，才能做出可交付、可维护的医学影像AI边缘部署方案。