硬件基础（一）：CPU vs GPU vs TPU 架构对比、算力与带宽的权衡、典型硬件选型策略

大家好，我是你们的老朋友。今天咱们聊聊硬件。说实话，很多搞深度学习的朋友，模型写得飞起，但一问他用的什么卡、为什么选这个卡，就有点含糊了。这不行。你想想看，算法是灵魂，硬件就是骨架。骨架选错了，灵魂再有趣也跑不动。

这一讲，咱们就把CPU、GPU、TPU这三兄弟拉出来，好好盘一盘。我会结合我这些年踩过的坑，给你讲清楚它们到底谁该干什么活。

一、CPU：那个什么都能干，但什么都不精的“老黄牛”

CPU，中央处理器，计算机的大脑。它的设计哲学是“低延迟、高通用”。什么意思？就是它什么指令都能处理，而且响应要快。你敲一下键盘，它得立刻反应。

CPU的核心数不多，一般桌面级就8核、16核。但每个核心都极其复杂，有巨大的缓存、强大的分支预测器、乱序执行单元。说白了，它是个“单兵作战能力极强”的特种兵。

在深度学习里，CPU主要干啥？

  • 数据预处理：图片解码、数据增强、文本清洗。这些活儿逻辑复杂，但计算量不大，CPU最合适。
  • 控制逻辑：启动训练、加载模型、打印日志、保存checkpoint。这些是“管家”的活儿。
  • 小批量推理：比如你部署一个模型到手机端，或者边缘设备，CPU是主力。

我个人习惯：在训练大规模模型时，我会把数据预处理单独扔到几个CPU核上跑，用PyTorch的DataLoader的num_workers参数。这样GPU就不会干等着数据，利用率能提升不少。

二、GPU：为并行而生的“民工头子”

GPU，图形处理器。它最初是为了渲染图像而生的。图像是什么？是一堆像素点。每个像素点的计算是独立的。所以GPU的设计哲学是“高吞吐、大规模并行”。

GPU有成千上万个核心，比如NVIDIA的A100有6912个CUDA核心。但每个核心都很简单，没有复杂的控制单元。它就是个“民工”，你给它一个简单的活儿，让它重复干一万遍，它最擅长。

为什么GPU适合深度学习？

因为深度学习里的核心操作——矩阵乘法，本质上是高度并行的。一个矩阵乘法可以拆成无数个小乘法，同时算。GPU正好干这个。

举个例子，一个全连接层：Y = X * W + b。X是输入，W是权重。这个乘法，GPU可以同时算几百个、几千个。CPU呢？只能一个一个算。

# 伪代码示意：CPU vs GPU 执行矩阵乘法
# CPU：串行，一个一个算
for i in range(1000):
    for j in range(1000):
        C[i][j] = A[i][j] * B[i][j]

# GPU：并行，一次算一堆
C = A * B  # 这一行，GPU内部拆成了1000*1000个线程同时算

但GPU有个致命弱点：显存带宽。

你想想看，GPU算得飞快，但数据得从显存里搬过来。如果显存带宽不够，数据搬不过来，GPU就得干等着。这就是所谓的“算力与带宽的权衡”。

避坑指南：我曾经在一个项目里，用了V100卡，但数据加载太慢，导致GPU利用率只有30%。后来我把数据预处理优化了一下，用了更高效的格式（比如TFRecord），利用率直接飙到90%。记住，别让GPU闲着。

三、TPU：谷歌的“偏科生”

TPU，张量处理单元。这是谷歌专门为深度学习定制的芯片。它不像GPU那样什么都能算，它只擅长一件事：矩阵乘法。

TPU的核心是一个巨大的脉动阵列（Systolic Array）。你可以把它想象成一个二维的网格，数据在这个网格里像波浪一样流动，每经过一个节点就做一次乘加运算。效率极高。

TPU的优势：

  • 极高的算力密度：同样功耗下，TPU的算力比GPU高很多。
  • 极致的矩阵乘法效率：专门为TensorFlow优化，跑Transformer模型尤其快。

TPU的劣势：

  • 灵活性差：不是所有模型都能跑。比如一些自定义算子，TPU不支持，就得改模型。
  • 生态封闭：主要绑定Google Cloud和TensorFlow。你用PyTorch？那基本告别TPU了。
  • 价格昂贵：按秒计费，一般人用不起。

注意：TPU虽然快，但如果你只是做小规模实验，或者模型里有很多自定义操作，我建议你还是老老实实用GPU。TPU更适合那种“模型固定、大规模生产”的场景。

四、算力与带宽的权衡：一个经典的“木桶效应”

咱们来聊聊一个核心概念：算力（Compute）和带宽（Memory Bandwidth）。

算力，就是芯片每秒能做多少次计算。单位是TFLOPS（每秒万亿次浮点运算）。带宽，就是芯片每秒能从内存里读多少数据。单位是GB/s。

这两者必须匹配。如果算力太高，带宽太低，数据搬不过来，芯片就“饿死”了。反过来，带宽太高，算力太低，数据搬过来了但算不动，芯片就“撑死”了。

怎么衡量？ 有个指标叫“计算强度”（Arithmetic Intensity），单位是FLOPs/Byte。意思是：每读一个字节的数据，能做多少次计算。

举个例子：

  • 矩阵乘法：计算强度很高。因为你要反复用同一个矩阵，数据复用率高。
  • 逐元素操作：比如ReLU激活函数，计算强度很低。读一个数，算一次，就结束了。

选型策略：

如果你的模型里矩阵乘法多（比如Transformer），那就选算力高的卡，比如A100、H100。如果你的模型里有很多逐元素操作（比如一些轻量级CNN），那带宽更重要，比如选显存带宽高的卡。

我建议：在选卡之前，先用profiler跑一下你的模型，看看它的计算强度是多少。然后对照显卡的规格表，算一下它能不能喂饱。别盲目买最贵的，不一定适合你。

五、典型硬件选型策略：我的一些经验

好了，理论讲完了，咱们来点实际的。如果你现在要配一台深度学习服务器，或者租云GPU，该怎么选？

场景一：学生党/个人研究者，预算有限

  • 推荐：NVIDIA RTX 3090 或 RTX 4090。
  • 理由：性价比高。24GB显存，能跑大部分模型。虽然不支持NVLink，但单卡训练足够了。
  • 注意：散热和功耗。3090功耗350W，你得配个好电源。

场景二：中小团队，做CV或NLP模型

  • 推荐：NVIDIA A100 或 A800。
  • 理由：80GB显存，支持多卡互联。跑大模型（比如LLaMA-7B）没问题。
  • 注意：A100价格不菲，一张卡好几万。如果预算不够，可以考虑RTX 6000 Ada。

场景三：大厂/云服务，大规模分布式训练

  • 推荐：NVIDIA H100 或 Google TPU v4。
  • 理由：H100有Transformer Engine，专门优化了Transformer模型。TPU v4在Google Cloud上，适合超大模型。
  • 注意：H100功耗700W，你得考虑数据中心散热。TPU得用TensorFlow，模型迁移成本高。

场景四：推理部署，低延迟要求

  • 推荐：NVIDIA T4 或 Jetson Orin。
  • 理由：T4功耗低，适合云端推理。Jetson Orin适合边缘设备。
  • 注意：推理卡不需要太大显存，但需要低延迟。T4的INT8算力不错。

我个人经验：如果你不确定选什么，先租云GPU试跑一周。阿里云、腾讯云、AWS都有按需实例。跑完看看利用率、显存占用、训练时间，再决定买什么。别一上来就砸钱买卡，容易后悔。

六、一张图看懂：CPU vs GPU vs TPU 的核心差异

下面这张SVG图，我画了三者的核心架构对比。你可以看到，CPU核心少但复杂，GPU核心多但简单，TPU则是专门的脉动阵列。

CPU 核心 1 (复杂控制单元) 核心 2 (复杂控制单元) 核心 3 (复杂控制单元) 核心 4 (复杂控制单元) 大容量缓存 (L2/L3) 系统内存 (DDR) GPU ... 数千个简单核心 高带宽显存 (HBM) 带宽: 2 TB/s TPU 脉动阵列 (Systolic Array) 专为矩阵乘法设计 高带宽内存 (HBM) 带宽: 1.6 TB/s

这张图很直观：CPU核心少但每个都“五脏俱全”；GPU核心多但简单，靠数量取胜；TPU则是矩阵乘法的“专用加速器”，结构最规整。

七、总结：没有最好的硬件，只有最合适的

好了，这一讲的内容就到这里。咱们回顾一下：

  • CPU：适合控制逻辑、数据预处理。别用它做大规模矩阵乘法，那是折磨它。
  • GPU：深度学习的主力。选卡时注意算力和带宽的匹配，别让GPU闲着。
  • TPU：谷歌的“偏科生”，适合大规模、固定模型的训练。但生态封闭，慎入。

最后送大家一句话：硬件选型，本质上是“算力、带宽、显存、功耗、价格”这五个维度的权衡。 没有完美的卡，只有最适合你场景的卡。

想要更多资料，联系可可

← 上一章 📖 返回目录 下一章 →