Linux PCIe DMA驱动开发与传输故障排查 - 第1节
1.1 PCIe 总线拓扑结构
PCI Express（PCIe）采用点对点串行互联拓扑，取代了传统 PCI 的共享并行总线架构。每个端点设备（Endpoint）与根复合体（Root Complex）或交换器（Switch）之间拥有独立的物理链路，不再共享带宽。
核心拓扑组件：
- 根复合体（Root Complex, RC）：CPU 与 PCIe 域之间的桥梁，通常集成在 SoC 或北桥中，负责生成配置、I/O 和内存事务。
- 交换器（Switch）：由上游端口（Upstream Port）和多个下游端口（Downstream Port）组成，实现多设备扩展与数据包路由。
- 端点（Endpoint, EP）：功能设备，如 NVMe SSD、GPU、网卡。
- 桥（Bridge）：用于连接其他总线（如 PCI/PCI-X），在 PCIe 树中较少见。
1.2 差分信号与 Lane
PCIe 物理层使用差分信号传输：每个 Lane 由一对发送差分对（TX+ / TX-）和一对接收差分对（RX+ / RX-）组成，共 4 根信号线。差分信号通过电压差（典型摆幅 800 mV~1.2 V）传递逻辑 0/1，具有极强的共模噪声抑制能力。
| 参数 | 差分信号 | 单端信号（传统 PCI） |
|---|---|---|
| 抗干扰能力 | 高（共模噪声抵消） | 低 |
| 信号电压摆幅 | 低（~1V） | 高（3.3V / 5V） |
| EMI 辐射 | 低 | 高 |
| 最高频率 | 极高（GHz 级） | 受限（~66 MHz） |
Lane 概念：一个 Lane 就是一个全双工差分通道。链路宽度 x1、x2、x4、x8、x16 表示并行 Lane 数量。例如 x16 链路包含 16 个 Lane，共 64 根信号线（32 TX + 32 RX）。
1.3 PCIe 链路宽度与速率
PCIe 链路通过宽度（Width）和速率（Data Rate per Lane）两个维度决定总带宽。每一代 PCIe 将单 Lane 速率翻倍，同时保持向后兼容。
| PCIe 代次 | 单 Lane 速率 (GT/s) | 编码方式 | 有效带宽 / Lane (GB/s) | x16 总带宽 (GB/s) |
|---|---|---|---|---|
| Gen 1 | 2.5 | 8b/10b | 0.25 | 4.0 |
| Gen 2 | 5.0 | 8b/10b | 0.50 | 8.0 |
| Gen 3 | 8.0 | 128b/130b | 0.985 | 15.75 |
| Gen 4 | 16.0 | 128b/130b | 1.969 | 31.51 |
| Gen 5 | 32.0 | 128b/130b | 3.938 | 63.02 |
注意：GT/s（Giga Transfers per second）不等于 Gbps。编码开销（8b/10b 损失 20%，128b/130b 损失约 1.5%）会降低有效数据率。驱动调试时，通过读取链路状态寄存器（Link Status）确认当前协商的代次和宽度，是排查性能瓶颈的第一步。
1.4 PCIe 事务层与 TLP 包格式
PCIe 采用分层协议架构：事务层（Transaction Layer）、数据链路层（Data Link Layer）和物理层（Physical Layer）。事务层负责生成与解析事务层包（TLP, Transaction Layer Packet），这是 DMA 传输中 CPU 与设备交换数据的核心载体。
TLP 包结构
| 字段 | 长度 | 说明 |
|---|---|---|
| 起始（STP） | 1 Byte | 帧起始定界符（物理层添加） |
| TLP 前缀（可选） | 0/4/8 Byte | 扩展头，用于 TLP 提示（TPH）等 |
| TLP 头 | 12/16/20 Byte | 包含 Fmt、Type、长度、地址/ID、属性等 |
| 数据负载（可选） | 0~4096 Byte | DMA 读写的数据内容 |
| ECRC（可选） | 4 Byte | 端到端 CRC 校验 |
| 序列号 + LCRC | 4 Byte | 数据链路层添加 |
TLP 头关键字段：
- Fmt[2:0]：格式，指示是否带数据、是否带 ECRC、地址长度（32/64 位）。
- Type[4:0]：事务类型，如 Memory Read/Write、Configuration Read/Write、Completion。
- Length[9:0]：数据负载长度，以 DW（4 Byte）为单位。
- Requester ID / Tag：标识发起者，用于 DMA 完成包路由。
驱动调试关联：当 DMA 传输异常时，使用逻辑分析仪或 PCIe 分析仪抓取 TLP，检查头中的 Length、Address 和 Requester ID 是否与驱动配置一致。常见的故障包括地址未对齐（Address 未按 DW 对齐）、Length 超过 Max Payload Size 导致拆分、Tag 冲突导致完成包丢失。