2. PCIe基础概念
PCIe（Peripheral Component Interconnect Express）是当前服务器、工作站和消费级平台中最主流的串行高速互连总线。理解PCIe的架构、拓扑、分层协议和链路训练机制，是后续进行读写性能优化的前提。本节将从硬件结构到协议栈逐层拆解，并澄清一批容易混淆的术语。
一、PCIe总线架构：从并行到点对点串行
传统PCI总线采用共享并行结构，所有设备挂在同一组地址/数据线上，带宽被所有设备争抢，且时钟频率难以继续提升。PCIe彻底改变了这一模型：它采用点对点（Point-to-Point）串行差分链路，每个设备与上游端口之间拥有独立的发送和接收通道，不再共享带宽。
PCIe链路的基本物理单元是Lane（通道），一条Lane由两对差分信号组成：一对用于发送（TX），一对用于接收（RX）。链路宽度可以是x1、x2、x4、x8、x16、x32，链路宽度越大，理论带宽越高。PCIe采用全双工通信，发送和接收互不干扰，这与PCI的半双工共享总线有本质区别。
在系统层面，PCIe通过Root Complex（RC，根复合体）连接CPU与内存子系统，向下延伸出若干Root Port，每个Root Port可以连接一个端点设备或一个Switch。Switch用于扩展拓扑，将一个上游端口扩展为多个下游端口，从而接入更多设备。
二、拓扑结构：树形层次与设备角色
PCIe拓扑是一棵以Root Complex为根的树形结构。典型角色包括：
- Root Complex：CPU与PCIe域之间的桥梁，产生配置空间访问，管理地址映射。
- Root Port：RC上的下游端口，对应一条PCIe链路，是性能观测的重要位置。
- Switch：由一个上游端口和多个下游端口组成，内部包含虚拟PCI桥，实现路由与隔离。
- Endpoint（EP）：真正的功能设备，如NVMe SSD、GPU、网卡。
- PCIe to PCI Bridge：用于兼容旧PCI设备，现代平台已较少见。
拓扑深度会影响延迟：每经过一级Switch或Bridge，都会引入额外的转发延迟。因此在高性能场景中，NVMe SSD通常直连CPU的Root Port，而不是挂在PCH（芯片组）下游，以减少跳数和共享带宽争用。
三、分层协议：事务层、数据链路层、物理层
PCIe协议栈自上而下分为三层，每层职责清晰：
| 层次 | 核心职责 | 关键对象 | 性能关注点 |
|---|---|---|---|
| 事务层 | 生成/解析TLP，处理读写请求、完成包、配置访问 | TLP、Requester ID、Tag、流量类别 | Tag数量、Max Payload Size、Max Read Request Size |
| 数据链路层 | 保证TLP可靠传输，差错检测与重传 | DLLP、序列号、LCRC、ACK/NAK | 重传率、ACK延迟、链路误码 |
| 物理层 | 串并转换、编码、电气均衡、链路训练 | Lane、LTSSM、SKP有序集 | 链路速率、宽度、信号完整性、误码率 |
事务层是软件最常打交道的层次。一次Memory Read请求会生成一个MemRd TLP，目标设备返回一个或多个CplD TLP。每个未完成请求都占用一个Tag，Tag数量决定了同一时刻能有多少个未完成读请求，直接影响读吞吐。Max Payload Size（MPS）和Max Read Request Size（MRRS）则决定单次传输的数据量，是调优中的高频参数。
四、链路训练与常见术语解析
链路训练由物理层的LTSSM（Link Training and Status State Machine）控制。上电或复位后，链路依次经历Detect、Polling、Configuration等状态，协商链路速率（Gen1/2/3/4/5）、链路宽度（x1~x16）以及均衡参数，最终进入L0正常工作状态。若训练失败，链路可能降速或降宽，例如x16设备只协商到x8，带宽直接减半。
lspci -vv 查看 LnkSta 与 LnkCap，确认实际协商速率和宽度是否与设备能力一致。若出现 Speed 5GT/s (downgraded) 或 Width x4 (downgraded)，应优先排查插槽、金手指、线缆和BIOS设置。
# 查看PCIe链路能力与实际状态
lspci -vv -s 01:00.0 | grep -E "LnkCap|LnkSta"
# 典型输出
LnkCap: Port #0, Speed 16GT/s, Width x4
LnkSta: Speed 16GT/s, Width x4
常见术语速查：
- TLP：Transaction Layer Packet，事务层包，承载读写请求与完成。
- DLLP：Data Link Layer Packet，链路层包，用于ACK/NAK和流控。
- BAR：Base Address Register，设备向系统申请的地址窗口。
- ATS：Address Translation Service，地址转换服务，减少IOMMU开销。
- SR-IOV：单根IO虚拟化，一个物理设备呈现多个虚拟功能。
- ASPM：Active State Power Management，链路电源管理，可能引入延迟。
掌握以上架构、拓扑、分层与训练机制后，后续分析读写性能时就能准确定位瓶颈发生在事务层参数、链路状态还是拓扑位置，而不是盲目调整应用代码。