硬件拓扑与资源模型：GPU/NPU拓扑结构、NVLink/PCIe带宽模型、内存与显存层级

各位同学，咱们今天聊点实在的。多卡调度这事儿，说白了就是让一堆计算卡好好配合干活。但你要是不懂它们之间的“人际关系”——也就是硬件拓扑和资源模型，那调度策略基本就是瞎蒙。

我个人习惯，拿到一个多卡集群，第一件事不是跑模型，而是先看拓扑图。为什么？因为数据怎么走、走多快，全看这个。

GPU/NPU拓扑结构：卡与卡之间的“交通网”

先说说最常见的GPU拓扑。你打开一台8卡机器，用 nvidia-smi topo -m 一看，会看到一张矩阵表。里面写着“NV4”、“NV8”、“PIX”之类的词。这些就是卡之间的连接方式。

• NVLink：这是NVIDIA自家的高速互联技术。说白了就是卡和卡之间有一条专用高速公路，带宽大、延迟低。8卡A100用NVLink连起来，就是一个完整的“全互联”拓扑——任意两张卡都能直接通信。
• PCIe：这是通用总线。卡和CPU、卡和卡之间如果走PCIe，那就慢多了。我记得有一次项目，同事没注意拓扑，让两张跨PCIe Switch的卡频繁通信，结果训练速度直接腰斩。
• NPU拓扑：华为昇腾NPU也有类似设计。比如Atlas 900集群，卡间通过HCCS（高速互联）连接，拓扑结构通常是“环形”或“Mesh”。嗯，这里要注意，NPU的拓扑往往更依赖软件层面的优化。

你想想看，如果两张卡之间是NVLink直连，那数据交换就像邻居串门。如果走PCIe，那就得绕到CPU那边再回来，相当于跨了半个城市。这能一样吗？

NVLink/PCIe带宽模型：到底能跑多快？

光知道拓扑还不够，你得知道每条路能跑多快。这就是带宽模型。

连接方式	单向带宽	双向带宽	典型延迟
NVLink 3.0 (A100)	50 GB/s	100 GB/s	~1us
PCIe 4.0 x16	16 GB/s	32 GB/s	~5us
PCIe 5.0 x16	32 GB/s	64 GB/s	~4us
HCCS (昇腾910)	~30 GB/s	~60 GB/s	~2us

这张表你得刻在脑子里。为什么？因为调度策略里，通信占比是决定性能的关键。

我曾经在一个大模型训练项目里，发现AllReduce操作占了30%的时间。后来一查，是因为两张卡之间走的是PCIe，而不是NVLink。我们把任务重新绑定到同一NVLink域内的卡上，通信时间直接降到10%。

说白了，带宽模型就是告诉你：别让数据走冤枉路。能走NVLink，就别走PCIe。能走PCIe直连，就别绕CPU。

内存与显存层级：数据在哪，决定了速度

多卡调度不只是卡间通信，还有数据在内存和显存之间的流动。这里有个层级概念：

• HBM（高带宽显存）：离计算单元最近，带宽最高（A100 HBM2e带宽2TB/s），但容量有限（40GB/80GB）。
• 系统内存（DDR）：离得远，带宽低（几百GB/s），但容量大（几百GB到TB级）。
• SSD/存储：最慢，但容量最大。

调度时，你得想清楚：数据应该放在哪一层？

举个例子。训练一个超大模型，显存放不下全部参数。这时候就得做“显存卸载”——把不常用的参数放到系统内存里，用的时候再搬回来。但搬来搬去是有代价的。我见过一个团队，卸载策略没做好，频繁在显存和内存之间交换数据，结果训练速度比纯显存版本慢了5倍。

嗯，这里还要提一下“统一内存”的概念。有些框架（比如PyTorch的Unified Tensor）会自动管理数据在显存和内存之间的迁移。但自动的不一定是最优的。我习惯手动控制，把热数据留在显存，冷数据放到内存。

知识体系总览

下面这张图，是我自己总结的硬件拓扑与资源模型的核心逻辑。你看一眼，就能明白整个章节在讲什么。

这张图把三个核心模块串起来了。你看，拓扑结构决定了通信路径，带宽模型决定了路径的速度，内存层级决定了数据存放的位置。三者共同决定了多卡调度的性能上限。

最后说一句。硬件拓扑和资源模型，是调度策略的“地基”。地基没打好，上面盖再漂亮的算法都是空中楼阁。我见过太多人一上来就调参数、改代码，结果性能上不去，回头一看，原来是卡没绑对、数据没放对地方。

嗯，这一章就到这。记住：先看拓扑，再谈调度。