2. PCIe 协议概述
PCI Express（PCIe）作为现代高性能互连标准，是 DMA 控制器与系统内存、外设之间进行高速数据搬运的物理基础。理解 PCIe 的拓扑结构、分层协议以及带宽延迟特性，是后续进行 DMA 编程与性能优化的前提。本章将从系统架构师视角，拆解 PCIe 的核心机制。
2.1 PCIe 拓扑结构
PCIe 采用基于通道的树形拓扑结构，由三种基本组件构成：根复合体（Root Complex, RC）、交换器（Switch） 和 端点（Endpoint, EP）。这种结构替代了传统 PCI 的共享总线，实现了点对点串行连接。
关键概念： PCIe 拓扑是“树形”而非“总线形”。每个设备通过独立的虚拟通道与 RC 通信，消除了总线仲裁带来的延迟。
组件角色说明
| 组件 | 角色 | DMA 相关要点 |
|---|---|---|
| 根复合体 (RC) | 连接 CPU/内存与 PCIe 交换结构，负责生成事务请求、处理中断、地址映射。 | DMA 描述符的读取与完成状态回写通常由 RC 代理。 |
| 交换器 (Switch) | 扩展端口数量，路由事务包（TLP）到正确的下游端口。 | 交换器内部延迟（Cut-through vs Store-forward）影响 DMA 延迟。 |
| 端点 (EP) | 功能设备，如 GPU、NVMe SSD、网卡。 | DMA 引擎通常集成在 EP 内部，发起读写请求。 |
工程提示： 在 FPGA 中实现 DMA 控制器时，FPGA 通常作为 EP 连接到 PCIe 交换器。RC 侧的 DMA 引擎（如 Intel DSA）与 EP 侧 DMA 引擎在编程模型上有显著差异，后续章节会详细对比。
2.2 PCIe 分层协议
PCIe 协议栈分为三个逻辑层：事务层（Transaction Layer）、数据链路层（Data Link Layer） 和 物理层（Physical Layer）。数据在发送端逐层封装，在接收端逐层解封。
各层职责与 DMA 关联
| 协议层 | 核心职责 | 对 DMA 的影响 |
|---|---|---|
| 事务层 | 组装 TLP，处理事务排序、流量控制（VC 机制）、地址转换（ATC/ATS）。 | DMA 读/写请求在此层封装为 Memory Read/Write TLP。Max Payload Size (MPS) 直接影响单次搬运效率。 |
| 数据链路层 | 保证 TLP 在相邻设备间可靠传输：ACK/NAK 重传、CRC 校验。 | 链路层重传会增加 DMA 延迟抖动（Jitter），对实时性要求高的场景需关注。 |
| 物理层 | 差分信号驱动、时钟恢复、链路训练状态机（LTSSM）。 | 链路宽度（x1/x4/x8/x16）和速率（Gen1/2/3/4/5）在此层协商，决定原始带宽。 |
常见误区： 很多开发者只关注事务层的 TLP 格式，忽略了数据链路层的重传机制。在高速 DMA 场景下，链路误码率（BER）导致的 LCRC 错误和重传，可能成为性能瓶颈。建议在 FPGA 实现中监控数据链路层状态寄存器。
2.3 PCIe 带宽与延迟特性
PCIe 的带宽由链路宽度（Lane Width）和传输速率（Gen）共同决定。延迟则包括协议开销、交换器转发延迟和链路传播延迟。
2.3.1 带宽计算
原始带宽（Raw Bit Rate）与有效带宽（Effective Bandwidth）存在差异，主要开销来自编码（8b/10b 或 128b/130b）和 TLP 头/CRC。
| PCIe 代际 | 单 Lane 原始速率 | 编码方式 | x16 有效带宽（单向） | x16 有效带宽（双向） |
|---|---|---|---|---|
| Gen 3 | 8 GT/s | 128b/130b | ~15.75 GB/s | ~31.5 GB/s |
| Gen 4 | 16 GT/s | 128b/130b | ~31.5 GB/s | ~63 GB/s |
| Gen 5 | 32 GT/s | 128b/130b | ~63 GB/s | ~126 GB/s |
带宽公式： 有效带宽 (GB/s) = (链路速率 GT/s) × (链路宽度) × (编码效率) / 8。
例如：Gen4 x16 = 16 × 16 × (128/130) / 8 ≈ 31.5 GB/s。
例如：Gen4 x16 = 16 × 16 × (128/130) / 8 ≈ 31.5 GB/s。
2.3.2 延迟构成
PCIe 延迟通常由以下部分组成，理解这些对 DMA 编程至关重要：
- TLP 封装延迟： 事务层组装 TLP 头（通常 12-16 字节）所需时间，与 MPS 和 TLP 大小相关。
- 交换器转发延迟： 典型值 100-200 ns（Cut-through 模式），Store-forward 模式更高。
- 链路传播延迟： 每米电缆约 5 ns，板内走线通常可忽略。
- 接收端处理延迟： 端点解析 TLP、访问内部缓冲区的时间。
优化切入点： 在 DMA 编程中，减少 TLP 数量（增大 MPS、使用突发传输）可以显著降低封装延迟占比。对于延迟敏感型应用（如存储 NVMe），应优先选择 Cut-through 交换器并避免 Store-forward。
2.3.3 带宽 vs 延迟权衡
DMA 控制器设计需要在带宽和延迟之间做出权衡：
- 大块数据传输： 追求高带宽，使用大 MPS（如 512B 或 1024B）、长突发、多描述符链。
- 小包控制消息： 追求低延迟，使用小 MPS、中断驱动、避免描述符链的批处理延迟。
- PCIe 流控： 信用量（Credits）机制可能阻塞发送，导致延迟增加。DMA 引擎应监控信用量状态。
性能陷阱： 不要认为 PCIe Gen4 x16 的 31.5 GB/s 带宽可以完全被 DMA 利用。实际有效带宽受限于：RC 侧内存带宽、TLP 头开销（约 5-10%）、描述符读取开销、中断处理开销。工程案例中，实测 DMA 带宽通常为理论值的 60-80%。