第2章 PCIe链路与拓扑：点对点连接、交换器、根复合体、端点角色
说到PCIe，很多人一开始就被那些术语吓住了。根复合体、交换器、端点……听起来好像很复杂。其实没那么玄乎。
我个人刚接触PCIe时，脑子里也是一团浆糊。直到有一次在FPGA项目里调试链路死活训练不成功，被逼着把整个拓扑一层层捋了一遍，这才真正吃透。今天就结合我的实战经验，把这块基础讲明白。
一句话总结： PCIe拓扑就是一个「树形结构」。CPU是树根（RC），外设是树叶（EP），中间的树枝就是交换器（Switch）。全靠点对点的Link连接在一起。
2.1 点对点连接：PCIe最核心的设计
所谓点对点（Point-to-Point），说白了就是一根总线只连两个设备。没有共享总线，不需要仲裁。
这和之前的PCI总线完全不一样。老PCI是共享式，一个设备抓着总线不放，其他设备就得等着。我在一个旧项目中维护过PCI设备，调试时最烦的就是总线上设备多了，莫名奇妙的冲突一大堆。
PCIe就没有这个烦恼。每个Link都是专用的。
| 特性 | PCI（共享总线） | PCIe（点对点） |
|---|---|---|
| 连接方式 | 多设备挂在同一条总线上 | 每个Link只连两个设备 |
| 仲裁机制 | 需要总线仲裁器 | 不需要仲裁，直接通信 |
| 带宽分配 | 所有设备共享带宽 | 每个Link独享带宽 |
| 信号完整性 | 负载越多，信号越差 | 只有两个点，信号质量高 |
| 典型速率 | 最高133MB/s（PCI-X） | 每通道1GT/s起（Gen1） |
点对点的好处很明显——性能确定性高。你插一个显卡，它和CPU之间的带宽就是固定的，不会被其他设备抢走。做嵌入式系统时，这个特性非常关键。
我曾遇到的一个坑： 在调试某款FPGA板卡时，上游RC配置的Link宽度是x4，但FPGA这边硬核只支持x2。结果协商出来的链路宽度只有x2，速度直接减半。查了一天才发现是硬件连线没拉全。所以设计时，两端支持的链路宽度一定要匹配。
2.2 根复合体（RC）：整个PCIe世界的「大脑」
根复合体（Root Complex，RC），你可以把它理解成CPU连接PCIe的门户。
RC承担了几个核心职责：
- 生成配置请求（去枚举EP）
- 管理存储器映射（把EP的BAR空间映射到CPU地址空间）
- 处理中断和错误消息
- 担任整个PCIe域的主控者
我建议你把RC想象成一个「路由器」。它上接CPU核心，下接若干个PCIe端口。每个端口都可以连出去，要么直连一个EP，要么再接一个Switch。
在我们常见的x86 PC里，RC是集成在CPU芯片内部的。比如Intel的Core系列，RC直接挂在DMI总线上。而在嵌入式SoC里，比如Xilinx的Zynq系列，RC通常是一个硬核IP。
为什么会这样设计？因为配置事务只能由RC发起。EP没有能力主动去配置别的设备。这就保证了整个枚举过程是可控的、有序的。
2.3 端点（EP）：真正干活的设备
端点（Endpoint，EP）就是PCIe总线上的「功能执行者」。你看到的NVMe SSD、GPU网卡、FPGA加速卡，都属于EP。
EP有以下特征：
- 只有0个或1个上行端口——它只能向上连接RC或Switch
- 不能主动发起配置周期——只能被动响应RC的配置请求
- 有自己的BAR空间——RC通过BAR（Base Address Register）来访问EP内的存储或配置空间
- 可以发内存读写请求——比如GPU通过DMA把数据直接写入系统内存
注意区分功能端点与根端口： RC上的根端口（Root Port）内部也是一个类似EP的逻辑，但它是RC的一部分。调试时不要搞混了。我曾经就因为把根端口配置当成了普通EP配置，导致TLP头里的Bytes解析错误，绕了一整天。
2.4 交换器（Switch）：总线扩展的核心
交换器（Switch）是为了解决一个实际问题——一个RC端口不够用。
RC的端口是有限的。高端CPU可能只有20~40个PCIe Lane。而一个数据中心服务器可能要插十几个NVMe盘、几块GPU、多个网卡。这时候就需要Switch来扩展。
Switch的结构是这样的：
- 一个上行端口（Upstream Port）——连接RC
- 多个下行端口（Downstream Port）——连接EP或下级Switch
- 内部一个逻辑架构（Virtual PCI to PCI Bridge）——负责转发不同端口之间的TLP
Switch最核心的能力是数据转发。它根据TLP头里的目标地址，把数据从端到端直接转发出去。不需要经过CPU。
举个例子：EP0挂在下行端口A，EP1挂在下行端口B。EP0要读EP1的数据。TLP从端口A进来，Switch查路由表，直接转发到端口B出去。CPU完全不用管。
我在一个项目里就做过这种优化。两个FPGA通过同一个Switch互传数据，不需要经过RC和DDR，延迟从几微秒降到了几百纳秒。
| 交换机特性 | 说明 |
|---|---|
| 上行端口 | 连接RC，通常支持最大宽度（x16） |
| 下行端口 | 连接EP或下级Switch，每个端口独立协商宽度 |
| 内部桥接 | 每个下行端口对应一个逻辑P2P桥 |
| 路由能力 | 基于ID路由或地址路由转发TLP |
| 流控隔离 | VC/TC独立的信用量管理 |
2.5 典型拓扑结构与SVG图
讲完了各个角色，我们来看一个完整的多级拓扑。
图中展示了一个最常用的结构：
- RC有两个根端口。RP0直连一个EP（显卡）；RP1接一个Switch。
- Switch扩展出两个下行端口，挂了两个EP。
- 所有连接都是点对点的Link。每个Link都由差分对组成。
嗯，这里要注意。实际系统中RC端口数量很少。台式机CPU一般提供20~24条Lane，分成几个x16、x4端口。如果不够用，才会加Switch。
2.6 角色核心差异速查表
| 角色 | 是否可发起配置 | 是否有下行端口 | 典型用途 |
|---|---|---|---|
| RC | 可以（唯一） | 有（根端口） | CPU侧，枚举和管理总线 |
| EP | 不可以 | 无 | 显卡、SSD、网卡 |
| Switch | 不可以 | 有（下行端口） | 扩展设备数量、增加拓扑层次 |
搞清楚了这三个角色的定位，后面的配置、调试、触发才能真正上手。你想想看，如果连TLP到底是从RC发给谁、谁在转发都不知道，那解码时看着一串二进制流，肯定是蒙圈的。
我个人习惯，每接触一个新板子，第一件事就是找原理图和地址映射，画出它的物理拓扑。然后对照软件的Bus/Device/Function编号，手工验证一遍链路关系。不出意外的话，这步能帮你解决至少一半的调试问题。