2. PCIe拓扑结构：根复合体(RC)、交换器(Switch)、端点(EP)的层次关系与树形拓扑

PCIe采用基于包的串行通信协议，其物理拓扑结构严格遵循树形层次模型。理解根复合体(RC)、交换器(Switch)和端点(EP)的层级关系，是进行多EP场景下链路带宽分配与优化的基础。本章将详细解析这三种核心组件的角色、连接方式以及树形拓扑的构建规则。

2.1 核心组件角色定义

一个标准的PCIe拓扑由三种基本功能单元构成，它们通过链路(Link)相互连接，形成从CPU到外设的完整数据通路。

2.2 树形拓扑层次结构

PCIe拓扑是一个单根树形结构，其核心规则如下：

• 单一根节点：整个拓扑中只有一个RC作为根节点。
• 无环结构：任意两个设备之间只有一条唯一的数据路径，不允许出现环路。
• 层次分明：RC位于第0层，其下游连接的Switch或EP位于第1层，Switch下游再连接的设备位于第2层，以此类推。
• 上行与下行：数据流向分为“上行(Toward RC)”和“下行(Away from RC)”。

2.3 交换器(Switch)的内部架构

Switch是构建复杂拓扑的核心，其内部结构决定了数据转发的效率。一个典型的Switch包含以下关键组件：

• 上游端口(Upstream Port)：连接更靠近RC的组件，通常是另一个Switch或直接连接RC。
• 下游端口(Downstream Ports)：连接EP或更下层的Switch。
• 内部仲裁器(Arbiter)：管理多个下游端口向上游端口发送数据的优先级和带宽分配。
• 虚拟通道管理(VC Management)：支持多个虚拟通道，实现QoS。

2.4 多EP场景下的拓扑示例

以下是一个典型的多EP服务器拓扑配置，展示了RC、Switch和EP之间的层次关系：

拓扑示例：服务器存储系统
┌─────────────────────────────────────────────────┐
│                  根复合体 (RC)                    │
│              (集成在CPU内, x16链路)               │
└──────────────┬──────────────────────────────────┘
               │
               ▼
┌─────────────────────────────────────────────────┐
│               PCIe 交换器 (Switch)                │
│              (上游端口: x16, 下游端口: 4个x8)      │
└──┬──────────┬──────────┬──────────┬──────────────┘
   │          │          │          │
   ▼          ▼          ▼          ▼
┌──────┐ ┌──────┐ ┌──────┐ ┌──────────────┐
│ GPU  │ │ NVMe│ │ NVMe│ │ 10GbE 网卡   │
│ (EP) │ │ (EP)│ │ (EP)│ │ (EP)         │
└──────┘ └──────┘ └──────┘ └──────────────┘
链路宽度: x8    x8      x8        x8

2.5 拓扑发现与枚举过程

系统上电后，RC通过配置事务对PCIe总线进行深度优先遍历，以发现所有连接的设备并构建完整的拓扑树。这个过程称为总线枚举。

1. 扫描根总线：RC首先扫描其根总线(Bus 0)，发现连接的设备。
2. 识别桥设备：如果发现设备是P2P桥(Switch的组成部分)，则为其分配一个次级总线号(Secondary Bus Number)和一个从属总线号(Subordinate Bus Number)。
3. 递归遍历：RC通过配置事务访问次级总线，继续扫描下游设备，重复步骤2，直到所有分支的末端(EP)都被发现。
4. 分配BDF：为每个发现的EP分配唯一的Bus/Device/Function编号。

2.6 拓扑对带宽分配的影响

树形拓扑结构直接决定了多EP场景下的带宽分配策略：

• 共享带宽：所有挂载在同一个Switch下游的EP，共享该Switch上游端口的带宽。
• 深度影响延迟：EP距离RC的“跳数”(经过的Switch数量)越多，数据包传输的延迟越高。
• 端口宽度匹配：如果Switch上游端口宽度小于所有下游端口宽度之和，则必然存在带宽争用。