📚 课程目录第3章虚拟化就绪的CPU与内存配置

3. 虚拟化就绪的CPU与内存配置

在Supermicro企业虚拟化服务器平台上，CPU与内存并不是“够快、够大”就万事大吉。虚拟化层要在物理硬件与虚拟机之间插入一层调度与地址翻译，因此CPU的虚拟化扩展、IOMMU的DMA重映射能力、NUMA拓扑以及内存通道与容量配置，会直接决定虚拟机密度、延迟表现和故障隔离能力。本节从“是什么”讲到“怎么配”，并给出可参考的示例参数与判断依据。

CPU虚拟化扩展：VT-x与AMD-V是入场券

Intel VT-x和AMD-V（AMD Virtualization）是x86处理器提供的硬件虚拟化扩展。没有它们，Hypervisor只能依赖二进制翻译或半虚拟化，指令陷入与模拟开销大，虚拟机执行敏感指令时性能损失明显。开启VT-x/AMD-V后，VM Entry/VM Exit由硬件直接支持，Guest OS运行在非根模式（VMX non-root operation），Hypervisor运行在根模式，特权指令、中断和页表操作可被高效拦截与转发。

在Supermicro平台上，通常需要在BIOS中确认以下项：Advanced → CPU Configuration → Intel Virtualization Technology设为Enabled；AMD平台对应SVM Mode设为Enabled。若使用ESXi、KVM、Hyper-V或Proxmox，安装后可用以下方式验证：

# Linux/KVM 检查
grep -E "vmx|svm" /proc/cpuinfo | head -1
# 期望输出包含 vmx（Intel）或 svm（AMD）

# ESXi 检查
esxcli hardware cpu global get
# 关注 HV Support 是否为 3（VT-x/AMD-V + EPT/RVI）

需要特别注意的是，VT-x/AMD-V只是基础，真正影响内存虚拟化性能的是第二层地址翻译：Intel EPT（Extended Page Tables）和AMD RVI/NPT（Rapid Virtualization Indexing/Nested Page Tables）。它们让Guest物理地址到Host物理地址的转换由硬件完成，避免影子页表带来的大量VM Exit。若BIOS中EPT/NPT被关闭，虚拟化性能会显著下降，应确保其处于启用状态。

IOMMU：设备直通与DMA隔离的关键

IOMMU（Intel VT-d / AMD-Vi）负责将设备发起的DMA地址进行重映射与隔离。没有IOMMU，PCIe设备直通给虚拟机时，设备可访问整个物理内存，既无法安全隔离，也难以支持SR-IOV、GPU直通、NVMe直通等企业虚拟化常见场景。启用IOMMU后，Hypervisor可为每个虚拟机建立独立的IOMMU域，设备只能DMA到该虚拟机被授权的内存区域。

在Supermicro BIOS中，通常需同时开启：Advanced → Chipset Configuration → VT-d（Intel）或IOMMU（AMD），以及PCIe ACS Override（视平台与拓扑需要）。Linux下可检查：

dmesg | grep -i -E "DMAR|IOMMU"
# 期望看到 DMAR: IOMMU enabled 或 AMD-Vi: Interrupt remapping enabled

# 查看IOMMU分组
for d in /sys/kernel/iommu_groups/*/devices/*; do
  echo "Group $(basename $(dirname $(dirname $d))): $(lspci -nns ${d##*/})"
done

IOMMU分组决定了哪些设备可以独立直通。若同一分组内混有多个不相关设备，直通其中一个可能连带影响其他设备，此时需要ACS拆分或调整PCIe插槽布局。Supermicro多路平台通常提供多个CPU直连PCIe插槽，合理规划插槽可让GPU、NVMe、网卡落在独立IOMMU组中。

NUMA：延迟敏感型虚拟机的隐形瓶颈

现代多路Supermicro服务器通常每个CPU插槽拥有独立内存控制器，形成NUMA节点。CPU访问本地节点内存的延迟约为80~100ns，跨节点访问则可能达到130~180ns，差距在30%~80%之间。对于数据库、实时交易、VDI等延迟敏感型虚拟机，NUMA错配会直接表现为响应时间抖动。

配置要点包括：在BIOS中保持NUMA为Enabled，不要为了“看起来统一”而关闭；在Hypervisor中为虚拟机启用NUMA亲和性，使vCPU与内存尽量落在同一节点；对于跨节点大型虚拟机，可使用vNUMA让Guest OS感知拓扑。以ESXi为例，可通过numa.nodeAffinity或DRS规则控制；KVM下可使用numactl或libvirt的<numatune>绑定。

# 查看NUMA拓扑
numactl --hardware
# 示例输出：
# available: 2 nodes (0-1)
# node 0 cpus: 0-31
# node 0 size: 262144 MB
# node 1 cpus: 32-63
# node 1 size: 262144 MB
# node distances:
# node   0   1
#   0:  10  21
#   1:  21  10

# 将虚拟机绑定到node 0
numactl --cpunodebind=0 --membind=0 qemu-system-x86_64 ...

判断依据：若虚拟机vCPU跨节点且内存未绑定，可用numastat -p <pid>观察远端内存分配比例。若远端分配超过20%，通常说明亲和性未生效或内存不足，需要调整。

内存通道与容量规划：带宽与密度的平衡

内存通道数决定峰值带宽。以DDR5-4800为例，单通道理论带宽约38.4GB/s，8通道约307GB/s，12通道约460GB/s。虚拟化场景中，多虚拟机并发访问内存，通道不足会成为明显瓶颈。Supermicro平台通常要求按通道均匀插满，避免“部分通道空置”导致带宽减半。

容量规划需考虑四部分：Hypervisor自身占用（ESXi约8~16GB，KVM视发行版约4~8GB）、每虚拟机配置内存、虚拟化开销（页表、设备模拟、TCG/二进制翻译缓存等，通常为配置内存的5%~15%）、以及预留缓冲（建议10%）。示例：一台双路Supermicro服务器，16条32GB DDR5组成512GB，计划运行20台虚拟机，每台16GB，则虚拟机总需求320GB，加Hypervisor 16GB、开销约48GB、缓冲约51GB，合计约435GB，512GB可满足；若每台改为24GB，总需求480GB，加开销后超过512GB，需减少虚拟机数量或增加内存。

建议在采购或扩容前，用“可用内存 = 总容量 − Hypervisor − 预留缓冲”反推可承载的虚拟机数量，再结合CPU核心数与NUMA节点数校验，避免只堆内存而忽略通道与NUMA匹配。

综合配置检查清单

检查项	推荐设置	验证方式
Intel VT-x / AMD-V	Enabled	grep vmx/svm /proc/cpuinfo
EPT / NPT	Enabled	ESXi HV Support = 3
IOMMU (VT-d / AMD-Vi)	Enabled	dmesg \| grep -i iommu
NUMA	Enabled，不关闭	numactl --hardware
内存通道	均匀插满，优先1 DIMM/通道	BIOS内存拓扑或dmidecode
容量预留	总容量 − Hypervisor − 10%缓冲	按虚拟机配置反推

实际部署中，建议先用一台样机验证上述配置，再批量复制到同型号Supermicro节点。重点观察虚拟机启动后的VM Exit次数、NUMA远端内存比例、内存带宽利用率和直通设备是否正常。若发现延迟抖动或吞吐不达标，优先回查IOMMU分组、NUMA亲和性和内存通道是否按预期生效，而不是盲目增加vCPU或内存容量。