1. PCIe 基础架构：拓扑结构、Root Complex 与 Endpoint、Switch 与 Bridge 角色
PCI Express（PCIe）作为现代高性能互连标准，其物理与逻辑拓扑结构直接决定了 DMA 传输的路径、带宽与延迟特性。理解 PCIe 基础架构是进行吞吐量测试与延迟优化的前提。本节将系统梳理 PCIe 拓扑中的核心组件及其角色。
1.1 PCIe 拓扑结构概述
PCIe 采用树形分层拓扑，以 Root Complex 为根节点，通过 Switch 与 Bridge 扩展连接多个 Endpoint。与传统的共享总线架构不同，PCIe 使用点对点串行链路，每个设备拥有独立的物理通道。
关键特性： 树形拓扑、点对点链路、分层协议（事务层、数据链路层、物理层）。
1.2 Root Complex (RC) 的角色与功能
Root Complex 是 PCIe 层次结构的根节点，通常集成在 CPU 或芯片组中。它负责将 CPU 和内存子系统连接到 PCIe 交换结构。
| 功能 | 描述 | 对 DMA 的影响 |
|---|---|---|
| 配置空间管理 | 枚举总线、分配 BDF 地址、配置 BAR 空间 | 决定 DMA 目标地址映射 |
| 事务路由 | 将内存读写请求转发到对应 Endpoint | 影响 DMA 延迟路径 |
| 中断处理 | 接收 MSI/MSI-X 中断并转发给 CPU | 影响 DMA 完成通知延迟 |
| 错误报告 | 检测并上报 PCIe 错误（ECRC、UR、CA） | 影响 DMA 传输可靠性 |
| 地址转换 | 支持 ATS（Address Translation Services） | 影响虚拟化环境 DMA 性能 |
优化要点： Root Complex 的端口数量与通道宽度（x16/x8/x4）直接决定了系统总带宽上限。在多 GPU 或 NVMe 场景下，需确保 RC 端口不成为瓶颈。
1.3 Endpoint (EP) 的角色与功能
Endpoint 是 PCIe 总线上的功能设备，如 GPU、NVMe SSD、网卡、FPGA 加速卡等。每个 Endpoint 拥有独立的配置空间和 BAR（Base Address Register），用于与软件交互。
- 功能类型： 单功能设备（Function 0）或多功能设备（如 NVMe 控制器 + 管理功能）。
- DMA 引擎： 多数高性能 Endpoint 内置 DMA 控制器，可自主发起内存读写（Bus Master）。
- 中断机制： 支持传统 INTx、MSI、MSI-X，其中 MSI-X 是 DMA 完成通知的首选。
- 电源管理： 支持 ASPM（Active State Power Management），但可能引入额外延迟。
常见陷阱： 部分 Endpoint 的 BAR 空间大小有限，DMA 缓冲区需通过 IOMMU 或 SWIOTLB 映射，可能引入性能开销。测试前务必确认 BAR 大小与 DMA 地址范围。
1.4 Switch 的角色与功能
PCIe Switch 是一个多端口桥接设备，用于扩展 PCIe 拓扑中的端口数量。它由上游端口（Upstream Port）连接 Root Complex，多个下游端口（Downstream Port）连接 Endpoint 或下级 Switch。
| 特性 | 说明 | 性能影响 |
|---|---|---|
| 端口到端口转发 | 支持不同下游端口间的数据交换（Peer-to-Peer） | 减少 RC 负载，降低延迟 |
| 流量仲裁 | 基于 VC（Virtual Channel）和 TC（Traffic Class） | 影响多流 DMA 的公平性 |
| 信用流控 | 基于信用量的流控机制 | 影响吞吐量峰值 |
| 数据缓冲 | 内部 TLP 缓冲与重排序 | 影响延迟抖动 |
1.5 Bridge 的角色与功能
PCIe Bridge 主要用于协议转换，连接 PCIe 总线与其他总线标准（如传统 PCI、PCI-X）。在现代系统中，Bridge 也用于连接不同 PCIe 域或实现热插拔控制。
| Bridge 类型 | 用途 | 对 DMA 的影响 |
|---|---|---|
| PCIe-to-PCI Bridge | 连接传统 PCI 设备 | 增加延迟，限制带宽（PCI 33/66 MHz） |
| PCIe-to-PCIe Bridge | 扩展 PCIe 域或隔离故障域 | 增加少量延迟，带宽取决于端口宽度 |
| Root Port (集成) | CPU 内部连接 RC 与外部 PCIe 端口 | 直接影响 DMA 路径延迟 |
性能建议： 在 DMA 性能敏感场景中，应避免使用 Bridge 连接传统 PCI 设备，优先将高性能 Endpoint 直接连接到 RC 或 Switch 的下游端口。
1.6 拓扑对 DMA 性能的影响总结
PCIe 拓扑结构直接决定了 DMA 传输的路径长度、带宽共享和延迟特性。以下表格总结了不同拓扑配置下的典型性能特征：
| 拓扑场景 | 典型延迟 (ns) | 最大带宽 (Gen4 x16) | 适用场景 |
|---|---|---|---|
| EP → RC → 内存 | 200-400 | ~31.5 GB/s | 标准 DMA 传输 |
| EP → Switch → RC → 内存 | 300-600 | ~31.5 GB/s (共享) | 多设备共享带宽 |
| EP ↔ EP (Peer-to-Peer) | 100-250 | ~31.5 GB/s | GPU 直连、FPGA 直传 |
| EP → Bridge → RC → 内存 | 500-1000+ | 受限 (如 PCI 133 MB/s) | 传统设备兼容 |
测试建议： 在进行 DMA 吞吐量测试前，务必通过 lspci -tv 或类似工具确认实际拓扑结构，识别 Switch 层级和端口共享情况，避免因拓扑未知导致性能误判。