2. AI计算负载特征与加速需求
要理解光电混合AI加速器为什么值得做，先要把AI负载的“脾气”摸清楚。神经网络训练和推理在硬件上最终都会落到少数几类算子上：矩阵乘（GEMM）、卷积（Convolution）、以及Transformer中的注意力（Attention）。它们看起来都是乘加运算，但在计算强度、访存模式、数据复用方式上差异很大，而这些差异恰好决定了电子芯片的瓶颈在哪里，也决定了光计算能在哪些环节补位。
一、三类核心算子的计算与访存特征
先建立一个统一的度量：计算强度（Arithmetic Intensity，AI），即每访问1字节数据能完成多少次浮点运算（FLOP/Byte）。它决定了算子处于“计算受限”还是“访存受限”区间。以FP16数据、典型尺寸为例：
| 算子 | 典型形状/参数 | 计算量 | 访存量 | 计算强度 | 瓶颈类型 |
|---|---|---|---|---|---|
| GEMM | M=N=K=4096 | 2MNK≈137 GFLOP | 约3×4096²×2B≈100 MB | ≈1370 FLOP/B | 计算受限 |
| 卷积 | N=1, C=256, H=W=56, K=256, 3×3 | ≈2×56²×256×256×9≈37 GFLOP | 输入+权重+输出≈(0.8+0.6+0.8)MB | ≈1700 FLOP/B | 计算受限（含复用） |
| Attention | B=1, H=16, L=2048, d=64 | ≈4×16×2048²×64≈17 GFLOP | Q/K/V/O及中间矩阵≈数十MB | ≈100~300 FLOP/B | 访存受限 |
这张表揭示了一个关键事实：GEMM和卷积是计算受限的，而Attention是访存受限的。GEMM的K维归约让每个加载的权重和激活能被复用上千次，因此算力是主要矛盾；卷积通过im2col或Winograd进一步放大复用，同样偏向计算受限。但Attention不同，它的核心是Q·Kᵀ和softmax·V两个矩阵乘，中间产生的注意力分数矩阵尺寸为L×L（此处2048×2048），需要写回再读出，访存开销巨大，而每个元素参与的计算次数却很少。
二、访存墙与能耗墙：电子加速器的根本约束
在电子芯片中，数据搬运的代价远高于计算本身。以7nm工艺为例，一次FP16乘加运算的能耗约为0.1 pJ，而从片外DRAM读取1字节的能耗约为10~20 pJ，相差两个数量级。这意味着当算子计算强度低于约100 FLOP/Byte时，系统能耗主要由数据搬运主导。Attention恰好落在这个区间，因此成为电子加速器上最“费电”的部分之一。
更麻烦的是，Attention的访存模式不是简单的顺序流，而是带有广播、转置和归约的混合模式。Q·Kᵀ需要将K矩阵转置后与Q做外积式归约，softmax需要沿行做最大值和指数归约，再与V相乘。这些操作在电子芯片上依赖多级缓存和片上网络反复搬运，延迟和功耗都难以压下来。
三、光电混合加速的动机
光计算的天然优势在于：高带宽、低传输损耗、天然并行。光信号在波导中传播时，不同波长可以同时传输且互不干扰（波分复用），这为矩阵乘提供了一种“用物理并行换计算并行”的思路。具体来说，马赫-曾德尔干涉仪（MZI）阵列可以实现矩阵-向量乘法：输入光强代表向量元素，MZI的分光比代表矩阵权重，输出光强即为乘积结果。一次光传播就完成了整个矩阵乘，延迟由光速决定，与矩阵规模关系较弱。
但光计算也有明显短板：非线性运算困难、存储能力弱、精度受噪声和漂移限制。因此纯光计算并不现实，光电混合才是可行路径。合理的分工是：
- 光域承担：大规模线性矩阵乘、卷积中的乘加归约、Attention中的Q·Kᵀ和softmax·V矩阵乘——这些是计算量大且规则的部分。
- 电域承担：非线性激活、softmax归一化、LayerNorm、数据调度与缓存——这些需要灵活控制和精确数值的部分。
这样，光域把最重的线性运算从电子瓶颈中卸载出去，电域则保留其擅长的控制与非线性处理。对于访存受限的Attention，光矩阵乘还能减少中间矩阵的反复搬运，因为矩阵乘在光域内完成，不需要把Q、K、V全部搬到计算单元附近再搬回。
四、从特征到设计决策
把上面的分析落到加速器设计上，可以得到几条明确的判断依据。第一，光矩阵乘单元应优先服务高计算强度、规则访存的GEMM和卷积，因为这里光域的并行优势能直接转化为吞吐提升。第二，Attention需要光域与电域协同：Q·Kᵀ和softmax·V的矩阵乘放在光域，softmax的指数和归一化放在电域，中间结果尽量在光域内完成传递，减少写回DRAM的次数。第三，数据格式和精度要统一规划：光计算目前多采用模拟强度表示，精度通常在4~8 bit量级，因此需要在电域做量化补偿和误差校正，否则Attention的数值稳定性会受影响。
总结来看，AI负载的特征可以概括为：GEMM和卷积是“算得多、搬得少”，Attention是“算得少、搬得多”。电子加速器在前者上靠堆算力，在后者上却受制于访存能耗。光电混合加速的动机，正是用光域的高带宽、低损耗和物理并行，去承接那些规则的大规模线性运算，尤其是Attention中反复搬运的矩阵乘，从而在系统层面突破电子访存墙的限制。