1. PCIe基础回顾

1.1 PCIe体系结构概述

PCI Express（PCIe）是一种高速串行计算机扩展总线标准，旨在替代传统的PCI、PCI-X和AGP并行总线。与并行总线不同，PCIe采用点对点串行连接，每个设备与交换器（Switch）或根复合体（Root Complex）之间拥有专用的独立通道（Lane）。

PCIe体系结构的核心设计理念包括：

• 串行差分信号：使用差分对（TX+/TX-、RX+/RX-）传输，抗干扰能力强，频率可大幅提升。
• 点对点拓扑：每个Endpoint独占链路带宽，不再共享总线。
• 分层协议：将事务处理、数据校验、物理信号分离，便于独立演进和调试。
• 软件向后兼容：配置空间、枚举机制、BAR（基地址寄存器）等概念继承自PCI，驱动可复用。

1.2 分层模型

PCIe协议栈从逻辑上分为三个层次：事务层（Transaction Layer）、数据链路层（Data Link Layer）和物理层（Physical Layer）。每个层次负责不同的功能，层与层之间通过标准接口交换信息。

1.2.1 事务层（Transaction Layer）

事务层是PCIe协议栈的最上层，直接与软件/驱动交互。它负责：

• 将软件发起的读写请求封装为TLP（Transaction Layer Packet）。
• 解析接收到的TLP，提取数据或状态返回给软件。
• 管理流量控制（Flow Control），防止接收端缓冲区溢出。
• 处理事务排序规则（Transaction Ordering），保证一致性。

TLP是事务层的基本数据单元，包含以下关键字段：

• Fmt/Type：标识TLP类型（Memory Read/Write、Completion、Message等）。
• TC（Traffic Class）：用于区分不同优先级的事务。
• TD（TLP Digest）：是否包含ECRC（端到端CRC）。
• EP（ poisoned）：指示TLP数据是否损坏。
• Address/Data：目标地址或有效载荷。

// TLP头部结构示例（32位地址格式，Memory Read Request）
// Byte 0-3: Fmt=000b, Type=00000b (MRd), TC=000b, TD=0, EP=0, Attr=000b, Length=001h
// Byte 4-7: Requester ID (Bus:Dev:Fnc) + Tag
// Byte 8-11: First DW BE + Last DW BE + Reserved
// Byte 12-15: Address[31:02] + 00b
// 实际TLP头部为12或16字节，此处仅为示意

1.2.2 数据链路层（Data Link Layer）

数据链路层位于事务层和物理层之间，核心职责是保证TLP在链路上的可靠传输。它通过以下机制实现：

• 序列号（Sequence Number）：为每个发送的TLP分配递增的序列号，用于去重和排序。
• LCRC（Link CRC）：对TLP和序列号计算32位CRC，接收端校验。
• ACK/NAK协议：接收端发送DLLP（数据链路层包）确认正确接收（ACK）或请求重传（NAK）。
• 重放缓冲区（Replay Buffer）：发送端保留已发送的TLP副本，直到收到ACK才释放。

1.2.3 物理层（Physical Layer）

物理层是PCIe协议栈的最底层，负责实际的电气信号传输。它分为两个子层：

• 逻辑子层（Logical Sub-block）：负责8b/10b或128b/130b编码/解码、加扰/解扰、弹性缓冲、Lane对齐。
• 电气子层（Electrical Sub-block）：负责差分信号的发送/接收、去加重、阻抗匹配、时钟恢复。

物理层的核心状态机是LTSSM（Link Training and Status State Machine），它控制链路的初始化、训练、恢复和电源管理。LTSSM状态包括：

• Detect：检测对端设备是否存在。
• Polling：发送训练序列（TS1/TS2），协商链路宽度和速度。
• Configuration：分配Lane编号，完成Lane对齐。
• L0：正常工作状态，传输TLP。
• Recovery：链路错误后重新训练，可能降速或降宽。
• L0s/L1/L2：电源管理低功耗状态。

1.3 PCIe拓扑结构

PCIe采用树形拓扑结构，由以下三种基本组件构成：

• Root Complex（RC）：根复合体，连接CPU、内存和PCIe域，是PCIe层次结构的根节点。RC内部通常包含多个虚拟PCIe桥（Virtual PCI-to-PCI Bridge），每个桥对应一个根端口（Root Port）。
• Switch：交换器，由上游端口（Upstream Port）和多个下游端口（Downstream Port）组成，用于扩展PCIe设备数量。Switch内部包含一个逻辑桥（Logical Bridge）和仲裁逻辑，负责数据包的路由和转发。
• Endpoint（EP）：端点设备，是PCIe总线上的功能设备，如网卡、GPU、NVMe SSD、FPGA加速卡等。Endpoint可以是单功能设备（Single Function）或多功能设备（Multi-Function）。

1.4 地址空间与路由

PCIe定义了三种地址空间，用于不同类型的事务：

• Memory Space：用于内存读写事务（Memory Read/Write），是DMA传输的主要地址空间。Endpoint通过BAR（Base Address Register）向系统报告其所需的Memory空间大小和类型。
• I/O Space：用于I/O读写事务，在现代系统中已逐渐淘汰，x86平台仍保留兼容性支持。
• Configuration Space：用于设备配置和枚举，每个PCIe设备最多支持4096字节的配置空间（PCI兼容区256字节 + PCIe扩展区）。

PCIe路由方式包括：

• 地址路由（Address Routing）：用于Memory和I/O事务，根据目标地址进行路由。
• ID路由（ID Routing）：用于Configuration事务和Completion，根据Bus:Device:Function编号进行路由。
• 隐式路由（Implicit Routing）：用于Message事务，根据消息类型确定目标。