3. PCIe系统架构总览
PCIe 不是一条简单的并行总线，而是一套分层、点对点、可交换扩展的树状互连系统。理解 PCIe 设计，第一步不是看链路速率，而是先建立“谁在发请求、请求经过哪些层级、最终落到哪个设备”的系统视图。本节围绕根复合体（Root Complex，RC）、交换器（Switch）、端点（Endpoint，EP）、桥（Bridge）以及总线号/设备号/功能号（BDF）展开，帮助你在阅读拓扑图、配置空间和枚举日志时能快速定位对象。
一、核心角色：从 CPU 到设备的四级结构
在一个典型 PCIe 系统中，CPU 并不直接“看到”每个 PCIe 设备，而是通过根复合体作为系统与 PCIe 域之间的门户。根复合体通常集成在处理器或芯片组内，负责把 CPU 的内存访问、I/O 访问转换为 PCIe 事务，并管理配置空间、中断和电源事件。它内部可能包含多个 Root Port，每个 Root Port 对应一条独立的 PCIe 链路，可以连接端点、交换器或桥。
端点是最常见的 PCIe 功能设备，例如 NVMe SSD、网卡、GPU、采集卡。端点只能作为事务的发起者或完成者，不具备继续向下扩展 PCIe 链路的能力。交换器则用于扩展拓扑，它把一个上游端口（Upstream Port）和多个下游端口（Downstream Port）组合起来，让多个端点或下级交换器共享一个上游链路。桥用于连接 PCIe 与其他总线体系（如 PCI、PCI-X），在现代纯 PCIe 系统中更多以“PCIe-to-PCI 桥”或“PCIe 桥”形式出现，负责地址空间和事务类型的转换。
二、总线号、设备号与功能号：PCIe 的“门牌地址”
PCIe 沿用了 PCI 的配置空间寻址模型，用 BDF（Bus/Device/Function）唯一标识一个功能。总线号（Bus Number）表示设备所在的总线段，设备号（Device Number）表示该总线上挂载的设备，功能号（Function Number）表示同一设备内部的不同功能。一个物理设备可以包含多个功能，例如一个双口网卡可能呈现为 Function 0 和 Function 1，操作系统会分别加载驱动。
在配置空间中，BDF 通过 Type 0/Type 1 配置请求访问。Type 0 用于访问当前总线上的设备，Type 1 用于跨总线访问，由桥或交换器进行转发。枚举时，BIOS 或操作系统从 Bus 0 开始扫描，发现桥或交换器后为其下游总线分配新的 Bus Number，从而形成一棵以根复合体为根的 PCIe 树。
关键理解：BDF 不是物理链路编号，而是配置空间中的逻辑地址。交换器内部会维护总线号范围，只有目标 BDF 落在其下游总线范围内时，才会把配置请求转发到对应下游端口。
三、枚举流程：系统如何“认识”整棵树
PCIe 枚举是系统启动阶段的关键动作，通常由固件完成，操作系统也会重新扫描。其基本流程如下：
- 从 Bus 0、Device 0、Function 0 开始扫描，读取 Vendor ID 和 Device ID，判断设备是否存在。
- 如果发现桥或交换器，读取其下游总线号范围寄存器，为其分配新的 Bus Number。
- 递归扫描新总线上的设备，直到所有端点都被发现。
- 为每个端点分配内存空间、I/O 空间和总线主控权限，写入 BAR 寄存器。
- 配置中断路由（MSI/MSI-X 或 INTx），完成设备可用性设置。
下面是一段典型的 Linux 枚举日志片段，可以看到 BDF 与设备类型的对应关系：
# lspci -tv
-[0000:00]-+-00.0 Intel Corporation Device 1234
+-01.0-[01]----00.0 Samsung NVMe SSD Controller
+-1c.0-[02]----00.0 Intel I210 Gigabit Network
+-1d.0-[03-04]----00.0-[04]----00.0 ASMedia USB 3.1
其中 00:01.0 是根端口，01:00.0 是下游 NVMe 端点，03-04 表示交换器或桥占用了 Bus 3 到 Bus 4 的范围。通过这种层级缩进，可以快速还原 PCIe 拓扑。
四、典型场景与常见误区
场景一：NVMe 性能不达标。如果 SSD 挂在交换器下游，而交换器上游链路只有 x4，那么多个 SSD 并发时可能争抢上游带宽。此时需要检查拓扑，确认瓶颈在交换器上游还是根端口。
场景二：设备无法识别。如果枚举日志中看不到某个端点，可能是链路训练失败、参考时钟异常、复位未释放，或者交换器下游端口被禁用。此时应优先检查链路状态寄存器和 LTSSM 状态。
常见误区：把“设备号”理解为物理插槽号。实际上 Device Number 是配置空间中的逻辑编号，与主板丝印的插槽编号没有必然对应关系。另一个误区是认为交换器会“放大”带宽，实际上交换器只是共享上游链路，所有下游端口的总带宽受限于上游端口。
| 对象 | 主要职责 | 是否可扩展下游 | 典型 BDF 示例 |
|---|---|---|---|
| 根复合体 RC | 连接 CPU 与 PCIe 域，管理配置、中断、电源 | 通过多个 Root Port 扩展 | 00:00.0 |
| 交换器 Switch | 扩展拓扑，路由事务，仲裁带宽 | 是，多个下游端口 | 00:1c.0（上游） |
| 端点 EP | 完成具体功能，如存储、网络、显示 | 否 | 01:00.0 |
| 桥 Bridge | 连接 PCIe 与其他总线，转换事务 | 是，下游可接传统设备 | 00:1e.0 |
设计提示：在系统规划阶段，先画出 PCIe 树，标注每个 Root Port、Switch 下游端口和端点的 BDF 范围，再评估带宽和延迟。对于高速设备，尽量靠近根复合体，减少交换层级；对于低速多设备场景，可用交换器集中管理。
排障提醒：当设备枚举异常时，不要只盯着端点本身。应同时检查上游桥/交换器的总线号分配、内存窗口和链路状态。很多“设备丢失”问题实际发生在交换器配置或根端口链路训练阶段。
掌握根复合体、交换器、端点、桥以及 BDF 的基本概念后，你就能把复杂的 PCIe 系统拆解为一棵可读、可查、可验证的树。后续学习配置空间、TLP 路由和链路训练时，这些对象和编号将成为你定位问题的坐标系。