3. 硬件选型与配置：GPU节点选型、CPU与内存配比、NVLink与NVSwitch的作用

说到GPU集群，很多人第一反应就是「堆显卡」。嗯，这话没错，但也不全对。我见过不少团队，砸了大价钱买A100，结果训练效率还不如别人用V100跑得快。为什么？因为硬件选型是个系统工程，不是单看GPU算力就完事了。

今天咱们就聊聊，怎么搭一个真正能打的GPU集群。我会从三个核心维度展开：GPU节点怎么选、CPU和内存怎么配、以及NVLink和NVSwitch到底在干什么。

选GPU，说白了就是看你的业务场景。我个人习惯把场景分成三类：

大模型预训练：比如GPT、LLaMA这种百亿参数起步的。这时候显存是第一优先级。我建议直接上A100 80GB或H100，显存不够的话，模型切分和通信开销会让你痛不欲生。
微调与推理：参数少一些，但吞吐量要求高。A10、L40s这类卡性价比不错。我在项目中遇到过，用A10做LoRA微调，成本只有A100的三分之一，效果几乎没差别。
多模态与视频：显存和带宽都要兼顾。H100的HBM3带宽高达3.35TB/s，处理视频数据时优势明显。

核心指标速查表

我的经验：别只看显存大小，显存带宽同样关键。我曾经用A100跑一个MoE模型，因为频繁的专家路由导致显存带宽打满，训练速度直接腰斩。后来换成H100，带宽翻倍，问题迎刃而解。

很多人觉得CPU不重要，反正计算都在GPU上。其实不然。数据加载、预处理、通信调度，这些活儿都得CPU干。CPU太弱，GPU就得干等着。

我一般遵循一个经验法则：

举个例子。我之前帮一个客户调优，他们8卡A100节点只配了128GB内存。跑一个175B的模型，数据预处理阶段CPU内存直接爆了，训练还没开始就OOM。后来加到512GB，问题解决。

注意：CPU和内存的配比不是越高越好。过度配置会增加成本和功耗。关键是要找到平衡点。我建议用nvidia-smi和htop监控实际使用情况，再逐步调整。

好，GPU选好了，CPU和内存也配好了。但如果你以为这样就能高效训练，那就太天真了。你想想看，8张卡之间怎么通信？数据怎么同步？

这就是NVLink和NVSwitch登场的地方。

NVLink是NVIDIA自家搞的GPU间直连技术。它比传统的PCIe快得多。举个例子：

说白了，NVLink就是给GPU之间修了一条高速公路。数据不用绕道CPU，直接点对点传输。我在项目中遇到过，用NVLink跑AllReduce，通信时间比PCIe缩短了70%以上。

NVLink只能解决两两通信的问题。但8卡、16卡甚至更多卡之间怎么高效通信？这时候就需要NVSwitch了。

NVSwitch本质上是一个高带宽的交换机，它把所有的GPU连接成一个全互联的拓扑。每个GPU都能以相同的带宽访问其他任何GPU。这在大规模分布式训练中至关重要。

一张图看懂NVSwitch的作用

你看这张图，每个GPU都通过NVSwitch连接到中心。这意味着GPU 0和GPU 5通信，和GPU 0和GPU 1通信，延迟是一样的。这在做数据并行或模型并行时，能大大简化通信调度。

嗯，这里要注意。NVLink和NVSwitch不是所有场景都需要。我一般这样判断：

单机8卡以内：NVLink足够。比如DGX A100，8卡通过NVLink全互联，不需要NVSwitch。
多机多卡（16卡以上）：必须上NVSwitch。比如DGX H100，内置4个NVSwitch，实现32卡全互联。
跨节点通信：NVLink和NVSwitch只解决节点内部通信。跨节点还得靠InfiniBand或RoCE。我建议至少配200Gbps的IB网卡，否则网络会成为瓶颈。

避坑指南：我曾经在一个项目中，为了省钱，跨节点用了100Gbps的以太网。结果训练一个千亿模型，通信时间占了总时间的60%以上。后来换成400Gbps的InfiniBand，通信时间降到15%。所以，网络这块千万别省。

硬件选型这事儿，说白了就是找平衡。GPU算力再强，CPU和内存跟不上，也是白搭。NVLink和NVSwitch再快，网络带宽不够，照样卡死。

我个人的建议是：先明确你的业务场景，再根据场景选型。不要盲目追求顶配，够用就好。但关键节点（比如网络和显存）一定要留足余量，否则后期扩展会很痛苦。

好了，这一章就聊到这儿。硬件选型是基础，但真正让集群跑起来的，是后面的分布式框架和训练策略。咱们下一章见。

想要更多资料，联系可可