硬件基础选型：GPU选型对比与系统配置
做高性能训练系统，第一步就是选硬件。这步走错了，后面再怎么优化都白搭。我这些年踩过的坑，十有八九都跟硬件选型有关。今天咱们就把GPU、CPU、内存、网络、存储这些核心部件掰开揉碎了聊。
GPU选型：A100、V100、RTX 4090怎么选？
GPU是训练系统的灵魂。选错了，要么性能不够，要么预算超支。我个人习惯把GPU分成三类：企业级旗舰、企业级主流、消费级旗舰。
| 型号 | 显存 | FP32算力 | TF32算力 | 互联带宽 | 参考价格 |
|---|---|---|---|---|---|
| A100 80GB | 80GB HBM2e | 19.5 TFLOPS | 156 TFLOPS | 600 GB/s (NVLink 3.0) | 约15万 |
| V100 32GB | 32GB HBM2 | 14 TFLOPS | 不支持 | 300 GB/s (NVLink 2.0) | 约6万 |
| RTX 4090 | 24GB GDDR6X | 82.6 TFLOPS | 不支持 | 无NVLink | 约1.5万 |
核心结论：A100适合大模型训练，V100适合中等规模任务，RTX 4090适合预算有限的小团队。
说说我的实际体验。A100的80GB显存，跑175B参数的GPT-3级别模型时，单卡就能塞下不少层。V100的32GB显存，跑BERT-Large刚好够用，但再大一点的模型就得用模型并行。RTX 4090呢？单精度算力确实猛，但24GB显存是个硬伤。
我在项目中遇到过一件事：一个团队用8张RTX 4090跑LLaMA-13B微调，结果因为显存不够，不得不把batch size降到1，训练效率还不如4张V100。你想想看，算力再高，显存不够也是白搭。
我的建议：如果预算充足，直接上A100。如果预算有限，V100是性价比之选。RTX 4090适合做实验、跑小模型，或者做推理。
CPU与内存配置：别让CPU拖后腿
很多人只盯着GPU，忽略了CPU和内存。其实，CPU负责数据预处理、调度、通信，这些环节慢了，GPU就得空转。
我个人习惯的配置是：
- CPU核心数：至少16核，推荐32核以上。数据加载、预处理、分布式通信都需要CPU。
- 内存容量：至少是GPU显存的2倍。比如8张A100（80GB），内存至少128GB，推荐256GB。
- 内存频率：DDR4 3200MHz起步，DDR5更好。内存带宽影响数据加载速度。
避坑指南：我曾经遇到过CPU核心数不够，导致数据加载成为瓶颈的情况。8张V100，CPU只有8核，结果GPU利用率只有60%。后来换了32核的CPU，利用率直接拉到95%。
嗯，这里要注意：CPU和内存的配置要跟GPU数量匹配。单卡训练，16核+64GB够用。8卡训练，32核+256GB是底线。
NVLink与NVSwitch：GPU通信的命脉
多卡训练时，GPU之间的通信效率直接影响训练速度。NVLink和NVSwitch就是解决这个问题的。
说白了，NVLink是GPU之间的高速直连通道，NVSwitch是连接多个GPU的交换机。
- NVLink 2.0（V100）：每卡300 GB/s，支持6个链路。
- NVLink 3.0（A100）：每卡600 GB/s，支持12个链路。
- NVSwitch（A100）：支持8卡全互联，带宽翻倍。
为什么这很重要？你想想看，模型并行时，每一层的前向和反向传播都需要在GPU之间传输梯度。如果通信带宽不够，GPU就得等数据，利用率自然上不去。
我的经验：8卡A100通过NVSwitch互联，AllReduce通信效率比PCIe 4.0快了近5倍。训练GPT-3 175B时，通信时间占比从30%降到了8%。
RTX 4090没有NVLink，只能用PCIe通信。8卡4090做分布式训练，通信开销能占到总时间的40%以上。所以，多卡训练还是得上企业级GPU。
高速网络：InfiniBand vs RoCE
多机训练时，网络就是命脉。InfiniBand和RoCE是两种主流方案。
| 特性 | InfiniBand | RoCE |
|---|---|---|
| 带宽 | 200/400 Gbps | 100/200 Gbps |
| 延迟 | 1-2微秒 | 5-10微秒 |
| 成本 | 高（约3倍） | 低 |
| 兼容性 | 需要专用网卡和交换机 | 基于以太网 |
| RDMA支持 | 原生支持 | 支持 |
我个人习惯：4机以内用RoCE，性价比高。8机以上用InfiniBand，性能稳定。
避坑指南：我曾经用RoCE跑16机训练，结果网络抖动导致训练经常中断。后来换了InfiniBand，问题就解决了。RoCE对网络质量要求高，交换机必须支持PFC和ECN。
嗯，这里要注意：RoCE的配置比InfiniBand复杂得多。需要调优PFC、ECN、MTU等参数。如果团队没有网络专家，建议直接上InfiniBand。
存储系统：NVMe vs SSD
存储系统影响数据加载速度。训练时，数据从存储读到内存，再送到GPU。如果存储慢了，GPU就得等数据。
- NVMe SSD：顺序读写3-7 GB/s，随机读写500K-1M IOPS。适合大规模数据集。
- SATA SSD：顺序读写500 MB/s，随机读写50K-100K IOPS。适合小规模数据集。
- HDD：顺序读写200 MB/s，随机读写100-200 IOPS。只适合冷数据存储。
我的建议是：训练数据放在NVMe SSD上，模型检查点也存NVMe。SATA SSD可以用来存日志和中间结果。HDD？只用来做归档。
我的经验：用NVMe SSD加载ImageNet数据集，只需要30秒。用SATA SSD需要2分钟。用HDD？得等10分钟。训练时每轮都要加载数据，这个差距会累积。
另外，分布式训练时，建议用共享存储（如NFS、Lustre）。但要注意网络带宽，否则存储会成为瓶颈。
知识体系总览
下面这张图总结了本章的核心内容，帮你快速建立整体认知：
这张图把硬件选型的五个核心维度串起来了。GPU是核心，CPU和内存是支撑，互联和网络是通信命脉，存储是数据基础。每个环节都不能掉链子。
总结一下：选硬件没有绝对的对错，关键看你的场景。大模型训练，A100+NVSwitch+InfiniBand+NVMe是黄金组合。小团队做实验，RTX 4090+SATA SSD也能跑。别盲目追求高端，够用就好。
想要更多资料，联系可可