硬件选型与采购：GPU、服务器与散热方案
说实话，做AI训练，硬件选型这事儿，我见过太多人栽跟头了。
有人花大价钱买了顶配机器，结果散热跟不上，跑起来直接降频。也有人图便宜买了消费级显卡，显存一爆，模型白练。嗯，今天咱们就把这事儿掰扯清楚。
主流GPU型号对比：A100、H100、RTX 4090
先聊GPU。目前市面上，做AI训练的主流选择就这三款。我个人的习惯是，先看预算，再看显存，最后看带宽。
| 型号 | 显存 | 显存带宽 | FP16算力 | 互联 | 参考价格 |
|---|---|---|---|---|---|
| NVIDIA A100 (80GB) | 80GB HBM2e | 2.0 TB/s | 312 TFLOPS | NVLink 3.0 (600GB/s) | 约 15-20 万 |
| NVIDIA H100 (80GB) | 80GB HBM3 | 3.35 TB/s | 989 TFLOPS | NVLink 4.0 (900GB/s) | 约 25-35 万 |
| NVIDIA RTX 4090 | 24GB GDDR6X | 1.01 TB/s | 330 TFLOPS | PCIe 4.0 x16 | 约 1.3-1.6 万 |
核心观点： 显存决定你能跑多大的模型，带宽决定你喂数据的速度。H100的带宽是4090的3倍多，这不是闹着玩的。
为什么H100这么贵？说白了，它内置了Transformer Engine和FP8支持。我在项目中遇到过，用H100跑LLaMA-70B，比A100快了将近2倍。但如果你只是做中小规模模型微调，RTX 4090的性价比其实很高。
避坑指南： 我曾经帮一个团队调试，他们用4张4090跑一个30B的模型。结果显存不够，频繁触发CPU offload，训练速度慢得像蜗牛。最后换了2张A100，问题才解决。记住：显存是硬门槛，算力可以等，显存不能省。
显存与带宽分析：为什么它们如此重要？
显存和带宽，这两个参数决定了你的训练效率。我习惯用一个公式来估算：
训练吞吐量 ≈ (显存带宽 × 并行度) / (模型大小 × 数据精度)举个例子：
- RTX 4090的带宽是1.01 TB/s，如果你跑一个10GB的模型，理论吞吐量是 1.01 TB/s ÷ 10 GB ≈ 100 次/秒
- H100的带宽是3.35 TB/s，同样模型，理论吞吐量是 335 次/秒
你想想看，同样跑一个epoch，H100比4090快了3倍多。这就是带宽的价值。
个人经验： 我建议，如果你的模型参数量超过10B，直接上H100或A100。如果只是做CV或小模型，4090完全够用。别为了省钱买多张4090，结果互联带宽成了瓶颈。
服务器整机配置建议
GPU选好了，接下来是服务器。我见过太多人只盯着GPU，结果CPU、内存、硬盘全成了短板。
这里给出一套我常用的配置方案：
| 组件 | 入门级（1-2张4090） | 专业级（4-8张A100/H100） |
|---|---|---|
| CPU | Intel i7-13700K / AMD Ryzen 9 7950X | Intel Xeon Platinum 8480+ / AMD EPYC 9654 |
| 内存 | 64GB DDR5 (2×32GB) | 512GB DDR5 (8×64GB) |
| 系统盘 | 1TB NVMe SSD (PCIe 4.0) | 2TB NVMe SSD (PCIe 5.0) × 2 RAID 0 |
| 数据盘 | 4TB NVMe SSD | 30TB NVMe SSD (或分布式存储) |
| 网络 | 10GbE | InfiniBand HDR 200Gb/s |
关键点： 多卡训练时，网络互联比CPU性能更重要。我曾经用4张A100配了25GbE网络，结果通信开销占了30%的训练时间。后来换成InfiniBand，直接降到5%。
电源与散热方案
嗯，这里要重点说。电源和散热，很多人觉得差不多就行。但实际上一台满载的8卡H100服务器，功耗轻松超过7000W。
我建议的电源配置：
- 单卡4090：建议1000W电源（实际功耗约450W）
- 4卡A100：建议3000W冗余电源（实际功耗约2500W）
- 8卡H100：建议9000W冗余电源（实际功耗约7000W）
曾经踩过的坑： 有一次我帮客户搭建8卡A100集群，用了普通机柜的PDU，结果开机瞬间电流过大，直接跳闸。后来换了工业级PDU，才稳定下来。记住：电源要留30%的余量，别卡着上限买。
散热方案，我分三种情况：
- 风冷（入门级）： 适合1-2张4090，普通机箱加几个120mm风扇就行。但噪音大，不适合办公室。
- 水冷（专业级）： 适合4-8张A100/H100，需要定制水冷回路。我习惯用Asetek的方案，稳定可靠。
- 液浸冷却（发烧级）： 适合超大规模集群。直接把服务器泡在绝缘液体里，散热效率极高。但成本也高，一套下来几十万。
个人建议： 如果你在机房部署，直接上水冷。风冷在夏天根本压不住，我见过H100在风冷下跑到85°C，直接降频到原来的一半性能。那损失，比水冷的成本大多了。
知识体系结构图
这张图把本章的核心逻辑串起来了。从GPU选型开始，到显存带宽分析，再到服务器配置和散热方案，每一步都环环相扣。你想想看，如果GPU选错了，后面再怎么优化也白搭。
总结一下： 硬件选型没有银弹。我的建议是，先明确你的模型规模和训练目标，再反推硬件需求。别盲目追求顶配，也别为了省钱牺牲性能。嗯，就这样。