PCIe拓扑配置：RC与EP间链路冗余与故障切换 - 第1节
1.1 PCIe体系结构概述
PCI Express（PCIe）是一种高速串行计算机扩展总线标准，旨在替代传统的并行PCI/PCI-X总线。其核心设计理念是点对点串行互连，每个设备都拥有独立的专用链路，彻底消除了共享总线带来的仲裁与带宽争用问题。
在PCIe体系结构中，主要包含两种类型的设备：
- 根复合体（Root Complex, RC）：系统核心，连接CPU、内存子系统，并作为整个PCIe层次结构的根节点，负责生成和管理事务层数据包（TLP）。
- 端点（Endpoint, EP）：功能设备，如GPU、NVMe SSD、网卡等，作为PCIe总线上的最终节点，发起或响应事务。
此外，还存在交换器（Switch）和桥（Bridge）等组件，用于扩展拓扑结构，实现多设备互联。
关键概念： PCIe采用树形拓扑结构，RC位于根部，通过Switch向下扩展连接多个EP。每个链路（Link）由一对差分信号对（Tx/Rx）组成，支持全双工通信。
1.2 分层模型
PCIe协议栈采用经典的三层架构，从下到上依次为：物理层（Physical Layer）、数据链路层（Data Link Layer）和事务层（Transaction Layer）。每一层都封装了特定的功能，并通过定义良好的接口与相邻层交互。
1.2.1 事务层（Transaction Layer）
事务层是协议栈的最上层，负责生成和接收事务层数据包（TLP）。TLP是PCIe通信的基本单元，用于执行读、写、完成等事务操作。事务层主要职责包括：
- 将来自核心（Core）的请求封装为TLP，并添加事务层头（TLP Header）。
- 解析接收到的TLP，提取数据并传递给上层。
- 管理事务排序规则，确保数据一致性。
- 支持四种地址空间：内存空间、IO空间、配置空间和消息空间。
1.2.2 数据链路层（Data Link Layer）
数据链路层位于事务层和物理层之间，主要提供可靠的数据传输和链路管理功能。其核心机制包括：
- 数据链路层数据包（DLLP）：用于链路管理功能，如ACK/NAK协议、流控制、电源管理等。
- 序列号与CRC校验：为每个TLP附加序列号（Sequence Number）和链路层CRC（LCRC），接收端通过ACK/NAK机制确认或重传。
- 链路初始化与训练：与物理层配合，完成链路的建立、宽度协商和速率协商。
1.2.3 物理层（Physical Layer）
物理层是协议栈的最底层，负责实际的电气信号传输和比特级编码。它分为两个子层：
- 逻辑子层（Logical Sub-block）：负责8b/10b或128b/130b编码、加扰、解扰、链路状态管理（LTSSM）。
- 电气子层（Electrical Sub-block）：负责差分信号的发送与接收、阻抗匹配、去加重等模拟特性。
| 分层 | 核心数据单元 | 主要功能 | 可靠性机制 |
|---|---|---|---|
| 事务层 | TLP（事务层数据包） | 事务生成、地址路由、排序 | 端到端CRC（ECRC） |
| 数据链路层 | DLLP（数据链路层数据包） | ACK/NAK重传、流控制、链路管理 | 序列号 + LCRC |
| 物理层 | PLP（物理层数据包） | 编码、串行化、电气信号 | 8b/10b或128b/130b编码 |
设计启示： 分层模型使得PCIe具有高度的可扩展性和兼容性。例如，物理层从Gen1到Gen5的速率提升，并不影响上层事务层的协议逻辑，这为链路冗余和故障切换设计提供了清晰的接口边界。
1.3 点对点连接特性
PCIe最显著的特性是点对点（Point-to-Point）串行连接。与共享总线架构不同，每个PCIe设备之间通过独立的物理链路直接相连，无需共享总线仲裁。
点对点连接的核心优势：
- 专用带宽：每个链路都拥有独立的发送和接收通道，设备之间不会争抢带宽。
- 全双工通信：发送和接收通道独立工作，可同时进行双向数据传输。
- 简化拓扑：通过Switch实现树形扩展，每个端口只连接一个下游设备，避免了总线冲突。
- 热插拔支持：物理层定义了热插拔协议，允许在系统运行时添加或移除设备。
冗余设计要点： 点对点特性意味着链路故障只会影响直接相连的设备对，不会扩散到整个系统。但这也要求冗余设计必须针对每一条关键链路进行独立保护，例如在RC与关键EP之间部署双链路或备用路径。
1.4 PCIe分层模型与点对点连接架构图
下图展示了PCIe协议栈的三层模型以及点对点连接的物理拓扑关系。左侧为协议栈内部结构，右侧为RC与EP之间的实际连接方式。
1.5 本章小结
本章回顾了PCIe体系结构的基础知识，重点包括：
- 体系结构：RC、EP、Switch等组件构成树形拓扑，点对点连接消除总线争用。
- 分层模型：事务层（TLP）、数据链路层（DLLP/ACK-NAK）、物理层（编码/电气），每层职责清晰，接口标准化。
- 点对点特性：专用带宽、全双工、独立链路，为后续链路冗余与故障切换设计提供了物理基础。