2. HBM基础概念
要理解HBM为什么成为AI加速器的“标配显存”，先要把它放回显存技术的演进脉络中。传统GPU长期使用GDDR（Graphics Double Data Rate）显存，它通过PCB走线连接GPU与多颗DRAM芯片，靠提高单引脚速率来提升带宽。而HBM（High Bandwidth Memory）走的是另一条路：把多颗DRAM Die垂直堆叠，用TSV（硅通孔）和微凸点互连，再通过硅中介层（Interposer）以超宽总线贴近GPU。一句话概括：GDDR靠“跑得快”，HBM靠“路够宽”。
一、核心原理：并行位宽 vs 串行速率
GDDR的位宽通常是32位/颗，GPU通过多颗并联达到384位、512位等总线宽度，单引脚速率可达16~24 Gbps。HBM则把位宽做到1024位/堆栈（HBM3为1024位，HBM3E进一步提升），单引脚速率相对温和，但凭借极宽总线，单堆栈带宽轻松达到819 GB/s（HBM3）甚至1.2 TB/s以上（HBM3E）。
更关键的是物理位置。GDDR芯片分布在GPU四周的PCB上，信号要走较长的封装外走线，功耗高、信号完整性压力大；HBM与GPU同处一个封装内，通过中介层短距离互连，单位比特能耗大幅下降。这就是HBM“带宽高、功耗低、面积省”三大优势的根源。
二、带宽与功耗优势：数据说话
带宽优势来自“位宽×速率”的乘积。以典型配置为例：
| 对比项 | GDDR6X | HBM3 | HBM3E |
|---|---|---|---|
| 单引脚速率 | ~21 Gbps | ~6.4 Gbps | ~9.6 Gbps |
| 单堆栈/单颗位宽 | 32位 | 1024位 | 1024位 |
| 单堆栈带宽 | — | ~819 GB/s | ~1.2 TB/s |
| 典型GPU总带宽 | ~1 TB/s | ~3.3 TB/s | ~4.8 TB/s |
| 单位比特能耗 | 较高 | 低 | 更低 |
| 封装形态 | PCB外置 | 2.5D封装内 | 2.5D封装内 |
功耗优势同样显著。GDDR的I/O功耗在总功耗中占比很高，因为信号要驱动长PCB走线；HBM通过中介层短互连，I/O功耗可降低数倍。对于动辄700W的AI加速器，这意味着同样的功耗预算可以换来更高的有效算力。
关键结论：HBM不是单纯“更快”，而是用封装换带宽、用短互连换能效。它解决的是“内存墙”问题——计算单元越来越快，而数据供给跟不上。
三、典型应用场景
- AI加速器：大模型训练与推理需要频繁搬运权重和激活值，HBM的高带宽直接决定吞吐。例如NVIDIA H100/H200、AMD MI300系列均采用HBM。
- 高性能GPU：数据中心GPU、专业渲染卡依赖HBM支撑大规模并行计算和高分辨率纹理访问。
- HPC高性能计算：气象模拟、分子动力学、流体仿真等场景对内存带宽极度敏感，HBM可显著缩短计算等待时间。
- 网络与交换芯片：高端交换机、DPU也开始引入HBM，用于高速报文缓存和查表。
四、常见误区与复盘
误区一：HBM一定比GDDR“快”。单看延迟，GDDR在某些随机访问下并不差；HBM的优势在持续带宽和能效，而非绝对延迟。
误区二：只看带宽数字，忽略容量与成本。HBM堆叠层数受良率和散热限制，单位容量成本远高于GDDR，选型要综合带宽、容量、功耗、成本。
误区三：把HBM当成独立芯片。HBM必须与GPU同封装、经中介层互连，不能像GDDR那样随意插在PCB上，这决定了它的系统设计方式完全不同。
复盘来看，HBM的价值不在单颗芯片，而在“GPU+中介层+HBM堆栈”的整体封装方案。理解这一点，才能理解后续TSV、微凸点、2.5D封装等制造环节为什么如此关键。