4. VFIO驱动架构详解

VFIO（Virtual Function I/O）是Linux内核提供的一种用户态驱动框架，旨在将设备直接暴露给用户空间，同时通过IOMMU提供硬件级隔离。与UIO的简单内存映射不同，VFIO引入了完整的设备模型、IOMMU组管理、中断重映射和DMA映射机制，是DPDK高性能数据面运行的核心支撑。

4.1 VFIO设备模型

VFIO在内核中抽象了三层对象：设备（Device）、IOMMU组（IOMMU Group）和容器（Container）。用户态通过操作这些对象完成设备控制。

4.1.1 设备对象与文件接口

每个VFIO设备在用户空间表现为一个文件描述符。通过open("/dev/vfio/vfio")获取容器句柄，再通过ioctl绑定IOMMU组和设备。

/* VFIO设备打开与绑定流程 */
int container_fd = open("/dev/vfio/vfio", O_RDWR);
ioctl(container_fd, VFIO_GET_API_VERSION);
ioctl(container_fd, VFIO_SET_IOMMU, VFIO_TYPE1_IOMMU);

int group_fd = open("/dev/vfio/10", O_RDWR);  /* IOMMU组号10 */
ioctl(group_fd, VFIO_GROUP_SET_CONTAINER, &container_fd);

int device_fd = ioctl(group_fd, VFIO_GROUP_GET_DEVICE_FD, "0000:02:00.0");

4.2 IOMMU组与容器

IOMMU组是VFIO隔离的最小单元。一个组内的所有设备共享同一个IOMMU地址空间，组内所有设备必须全部绑定到VFIO驱动后才能使用。

4.3 VFIO中断与DMA映射

4.3.1 中断机制

VFIO支持三种中断类型：INTx、MSI和MSI-X。用户态通过ioctl注册中断处理，内核通过事件fd（eventfd）将硬件中断转发到用户空间。

/* VFIO中断注册示例 — MSI-X */
struct vfio_irq_set irq_set = {
    .argsz = sizeof(irq_set),
    .flags = VFIO_IRQ_SET_DATA_EVENTFD | VFIO_IRQ_SET_ACTION_TRIGGER,
    .index = VFIO_PCI_MSIX_IRQ_INDEX,
    .start = 0,
    .count = 1
};
int event_fd = eventfd(0, EFD_NONBLOCK);
irq_set.data_fd = event_fd;
ioctl(device_fd, VFIO_DEVICE_SET_IRQS, &irq_set);

/* 在epoll中等待event_fd可读 */
epoll_ctl(epoll_fd, EPOLL_CTL_ADD, event_fd, &ev);

4.3.2 DMA映射

VFIO要求用户态显式注册DMA映射区域。DPDK在初始化时通过VFIO_IOMMU_MAP_DMA将大页内存映射到IOMMU页表，使设备可以直接访问用户态内存。

/* VFIO DMA映射 — 将hugepage内存映射给设备 */
struct vfio_iommu_type1_dma_map dma_map = {
    .argsz = sizeof(dma_map),
    .flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE,
    .vaddr = (__u64)hugepage_base,   /* 用户态虚拟地址 */
    .iova = 0x100000000,             /* IOMMU虚拟地址 */
    .size = hugepage_size
};
ioctl(container_fd, VFIO_IOMMU_MAP_DMA, &dma_map);

4.4 与DPDK的交互流程

DPDK在EAL层封装了完整的VFIO初始化流程。从设备探测到数据面启动，共经历以下关键阶段：

1. VFIO容器创建 — 打开/dev/vfio/vfio，设置IOMMU类型为VFIO_TYPE1_IOMMU。
2. IOMMU组绑定 — 遍历/sys/kernel/iommu_groups/，找到设备所在组，打开组设备文件并关联到容器。
3. 设备文件获取 — 通过VFIO_GROUP_GET_DEVICE_FD获取设备句柄，读取PCI配置空间和BAR信息。
4. 中断配置 — 注册MSI-X中断，创建eventfd并加入epoll监听。
5. DMA映射 — 遍历所有hugepage，调用VFIO_IOMMU_MAP_DMA建立IOVA到物理地址的映射。
6. 数据面启动 — 将设备BAR映射到用户空间，初始化收发包队列，开始数据面运行。

4.4.1 关键数据结构

DPDK内部使用struct rte_vfio_container和struct rte_vfio_device管理VFIO资源。每个容器对应一个内核容器，每个设备对应一个设备文件描述符。

/* DPDK VFIO核心数据结构（简化） */
struct rte_vfio_container {
    int fd;                          /* /dev/vfio/vfio 文件描述符 */
    int iommu_type;                  /* VFIO_TYPE1_IOMMU */
    struct rte_vfio_group *groups;   /* 关联的IOMMU组链表 */
    int nb_groups;
};

struct rte_vfio_device {
    int fd;                          /* 设备文件描述符 */
    int group_fd;                    /* 所属组文件描述符 */
    struct rte_pci_addr pci_addr;    /* PCI地址 */
    struct rte_intr_handle intr_handle; /* 中断句柄 */
};

4.5 本章小结