4. Intel VT-d与I/O虚拟化

在服务器虚拟化中，CPU 与内存的虚拟化早已成熟，真正棘手的是 I/O 设备：一块 25GbE 网卡、一块 NVMe SSD 或一张 GPU，如何让虚拟机既获得接近原生的吞吐与延迟，又不破坏隔离性？Intel VT-d（Intel Virtualization Technology for Directed I/O）正是 Xeon 平台上解决这一问题的硬件基础。它把 I/O 虚拟化从"软件模拟"推进到"硬件直通"，并进一步支撑 SR-IOV 这类多租户共享方案。

一、VT-d 的三大核心能力

VT-d 位于 CPU 的北桥/内存控制器一侧，本质是一个面向 DMA 的地址转换与保护单元。它提供三项关键能力：DMA 重映射、中断重映射和设备隔离。三者共同构成"直接设备分配"（PCIe Passthrough）的安全底座。

DMA 重映射解决的是地址翻译问题。设备发起 DMA 时使用的是"设备可见地址"，在直通场景下即客户机物理地址（GPA）。VT-d 通过每个设备（更准确说是每个 PCIe Requester ID，即 BDF：Bus/Device/Function）对应的IOMMU 页表，把 GPA 翻译成宿主机物理地址（HPA）。这样虚拟机以为自己直接访问物理内存，实际每次访问都经过 IOMMU 校验与转换，越界访问会被硬件拦截并产生 DMA 故障，而不是悄悄写坏别的虚拟机内存。

中断重映射解决的是中断投递问题。传统 MSI/MSI-X 中断携带的是向量号，无法区分"哪个虚拟机的哪个设备"。VT-d 的中断重映射表（IRTE）把设备中断与目标 CPU、目标虚拟机、向量号绑定，使中断可以安全地直接注入客户机，避免为每个中断陷入 VMM 做软件转发，显著降低中断延迟。

设备隔离则依赖 PCIe ACS（Access Control Services）与 IOMMU 分组。只有位于同一 IOMMU 组内、且组内设备互不信任风险可控时，才能安全地把整组设备分配给同一虚拟机。

二、直接设备分配的实际落地

在 Linux/KVM 环境中，直通通常通过 VFIO 框架完成。核心步骤是：先把设备从宿主机驱动解绑，绑定到 vfio-pci，再把该设备对应的 IOMMU 组交给虚拟机。判断能否直通，关键看 IOMMU 分组：

# 确认内核已启用 IOMMU（Intel 平台）
# GRUB: intel_iommu=on iommu=pt
dmesg | grep -i "DMAR: IOMMU enabled"

# 查看设备所属 IOMMU 组
for d in /sys/kernel/iommu_groups/*/devices/*; do
  echo "Group $(basename $(dirname $(dirname $d))): $(lspci -nns ${d##*/})"
done

# 示例输出（教学示例）
Group 12: 03:00.0 Ethernet controller [0200]: Intel 25GbE [8086:1592]
Group 13: 04:00.0 Non-Volatile memory [0108]: NVMe SSD [8086:0a54]

若一个组里同时存在网卡和另一个不想直通的设备，就必须整组直通，否则隔离不成立。此时可尝试开启 ACS 强制隔离（pcie_acs_override），但需评估安全风险。绑定 VFIO 后，用 QEMU 启动虚拟机时通过 -device vfio-pci,host=03:00.0 把设备交给客户机，客户机内即可看到一块"真实"网卡。

三、SR-IOV 与虚拟功能（VF）

直通虽好，但一块物理网卡只能给一个虚拟机。SR-IOV（Single Root I/O Virtualization）让一块 PCIe 设备呈现为多个虚拟功能（VF），每个 VF 拥有独立的配置空间、队列和中断资源，可分别直通给不同虚拟机。物理功能（PF）由宿主机管理，负责创建和配置 VF。

在 Xeon 平台上，SR-IOV 依赖 VT-d 为每个 VF 建立独立的 BDF 与 IOMMU 映射。以 Intel E810 网卡为例，典型操作如下：

# 1. 在 PF 上启用 SR-IOV 并创建 4 个 VF
echo 4 > /sys/class/net/ens1f0/device/sriov_numvfs

# 2. 查看生成的 VF（BDF 依次递增）
lspci | grep -i "Virtual Function"
# 03:00.0 PF  Ethernet Controller E810
# 03:00.1 VF  Ethernet Virtual Function
# 03:00.2 VF  Ethernet Virtual Function
# 03:00.3 VF  Ethernet Virtual Function
# 03:00.4 VF  Ethernet Virtual Function

# 3. 将 VF 绑定到 vfio-pci 并直通给 VM
echo 0000:03:00.1 > /sys/bus/pci/drivers/iavf/unbind
echo 0000:03:00.1 > /sys/bus/pci/drivers/vfio-pci/bind

每个 VF 在 IOMMU 中拥有独立条目，因此 VM1 的 VF 无法 DMA 到 VM2 的内存。中断方面，VF 的 MSI-X 中断经 IRTE 直接注入对应虚拟机，无需 VMM 逐中断转发。这样单块 100GbE 网卡可被 4 个虚拟机共享，每个获得约 25Gb 的独立队列带宽，且相互隔离。

四、关键参数与排障要点

实际部署中，几个参数决定成败：IOMMU 分组决定能否直通；ACS 能力决定组内隔离是否彻底；中断重映射是否开启决定中断延迟与稳定性；ATS/PRI（地址翻译服务）可让设备缓存翻译结果，进一步降低 DMA 延迟，但需设备与 IOMMU 同时支持。

总结来看，VT-d 用 DMA 重映射保证"访问对"，用中断重映射保证"中断快"，用 IOMMU 分组保证"隔离住"；SR-IOV 则在此基础上把一块物理设备切分为多个可独立直通的 VF，使 Xeon 平台既能提供接近原生的 I/O 性能，又能维持多租户之间的硬件级隔离。理解这三层关系，是设计高性能虚拟化数据中心 I/O 架构的关键。