PCIe RC模式驱动开发中的DMA传输性能调优 - 第2节

2.1 Root Complex 的角色与功能

Root Complex（RC）是 PCIe 层次结构中的根节点，直接连接 CPU、内存子系统以及一个或多个 PCIe 端口。在 RC 模式下，驱动运行在 RC 侧，负责发起配置、内存和 I/O 事务，并管理整个 PCIe 拓扑。

2.1.1 RC 的核心职责

• 事务层桥接：将 CPU 发出的内存访问转换为 PCIe 事务层包（TLP），并反向转换完成包。
• 配置空间管理：作为配置请求的唯一发起者，通过配置读写访问 EP 的配置空间。
• 地址映射与转换：管理 CPU 物理地址与 PCIe 总线地址之间的映射，包括 MMIO 和 DMA 地址窗口。
• 中断处理：接收并转发来自 EP 的 MSI/MSI-X 中断到 CPU 中断控制器。
• 错误检测与上报：监测链路错误、 poisoned TLP、 completion timeout 等，并通过 AER 或系统错误上报。

2.1.2 RC 功能模块架构

下图展示了 RC 内部的主要功能模块及其与 CPU、内存和 EP 的连接关系：

2.2 RC 与 EP 的交互模型

RC 与 EP 之间的交互遵循主从模式：RC 始终作为请求者（Requester），EP 作为完成者（Completer）。交互模型涵盖三种基本事务类型：

2.2.1 典型交互流程

1. 配置阶段：RC 通过配置读写发现 EP 的 Vendor ID、Device ID、BAR 等信息，分配总线号和资源。
2. 初始化阶段：RC 设置 EP 的 DMA 引擎、中断使能、Max Payload Size 等参数。
3. 数据传输阶段：RC 或 EP 发起 DMA 传输，通过内存读写 TLP 在系统内存和设备之间搬运数据。
4. 完成与中断阶段：EP 传输完成后通过 MSI/MSI-X 通知 RC，RC 在中断服务例程中处理完成状态。

2.2.2 交互模型示意图

2.3 配置空间访问

配置空间是 PCIe 设备的核心寄存器集合，RC 通过配置读写 TLP 访问 EP 的配置空间。每个 PCIe 功能（Function）拥有独立的 4KB 配置空间，前 64 字节为配置头（Configuration Header），其余为能力结构（Capability Structures）。

2.3.1 配置空间结构

2.3.2 配置访问机制

在 RC 模式下，驱动通过以下两种方式访问配置空间：

• MMIO 方式（ECAM）：将配置空间映射到内存地址空间，通过普通内存读写指令访问。ECAM（Enhanced Configuration Access Mechanism）是 PCIe 推荐方式，支持 256 个总线、32 个设备、8 个功能。
• I/O 方式（CF8/CFC）：通过 I/O 端口 0xCF8（配置地址端口）和 0xCFC（配置数据端口）进行访问。仅用于 PCI 兼容模式，不推荐在 PCIe 原生驱动中使用。

2.3.3 配置访问代码示例

以下代码展示了在 RC 模式下通过 ECAM 读取 EP 配置空间的典型实现：

/* ECAM 基地址，由系统固件在启动时映射 */
#define ECAM_BASE       0xF0000000
#define BUS_SHIFT       20
#define DEV_SHIFT       15
#define FUNC_SHIFT      12

/* 读取配置空间 32 位寄存器 */
uint32_t pcie_config_read32(uint8_t bus, uint8_t dev, uint8_t func, uint16_t offset)
{
    uint32_t *ecam_addr;
    uint32_t addr;

    /* 计算 ECAM 地址：基地址 + (bus << 20) | (dev << 15) | (func << 12) | offset */
    addr = ECAM_BASE | (bus << BUS_SHIFT) | (dev << DEV_SHIFT) | (func << FUNC_SHIFT) | offset;

    ecam_addr = (uint32_t *)(uintptr_t)addr;

    /* 返回配置空间内容 */
    return *ecam_addr;
}

/* 写入配置空间 32 位寄存器 */
void pcie_config_write32(uint8_t bus, uint8_t dev, uint8_t func, uint16_t offset, uint32_t value)
{
    uint32_t *ecam_addr;
    uint32_t addr;

    addr = ECAM_BASE | (bus << BUS_SHIFT) | (dev << DEV_SHIFT) | (func << FUNC_SHIFT) | offset;

    ecam_addr = (uint32_t *)(uintptr_t)addr;

    *ecam_addr = value;
}

2.3.4 配置空间访问流程

2.3.5 配置空间访问的常见问题