📚 课程目录第4章 CPU虚拟化

4. CPU虚拟化

在KVM体系中，CPU虚拟化是整台虚拟机的算力根基。早期x86架构并不支持虚拟化，VMware等厂商只能通过二进制翻译和半虚拟化技术“绕路”实现，代价是性能损耗大、实现复杂。Intel VT-x与AMD-V的出现，让CPU在硬件层面直接支持虚拟机运行，KVM正是建立在这套硬件辅助虚拟化能力之上的。理解VT-x/AMD-V的工作机制，再掌握vCPU调度、CPU亲和性与性能调优方法，才能真正把虚拟机的算力“压榨”出来。

一、核心原理：VT-x/AMD-V如何让CPU“分身”

x86指令集中有一部分敏感指令（如修改页表基址、读写控制寄存器、执行I/O指令）在传统架构下无法被Guest直接执行，否则会破坏宿主机状态。硬件辅助虚拟化引入了两种运行模式：

根模式（Root Mode / Host Mode）：KVM内核与QEMU进程运行在此模式，拥有对CPU和硬件的完全控制权。
非根模式（Non-Root Mode / Guest Mode）：Guest OS及其应用运行在此模式，执行敏感指令时会触发“VM-Exit”，CPU自动保存Guest上下文并切换到根模式，由KVM处理后再通过“VM-Entry”返回Guest。

Intel平台的核心数据结构是VMCS（Virtual Machine Control Structure），AMD平台对应的是VMCB（Virtual Machine Control Block）。它们保存Guest与Host的寄存器状态、退出原因、控制字段等，是VM-Exit/VM-Entry的“上下文快照”。KVM通过VMXON、VMLAUNCH、VMRESUME等指令完成模式切换。

关键点：VM-Exit是硬件辅助虚拟化的性能核心指标。退出次数越少、每次退出处理越快，虚拟机的CPU性能就越接近物理机。EPT（Intel）与NPT（AMD）通过二级页表把Guest物理地址到Host物理地址的转换也交给硬件，大幅减少了因内存访问引发的VM-Exit。

二、vCPU调度：从Guest线程到物理核

在KVM中，每个vCPU对应宿主机上的一个普通Linux线程（QEMU线程）。Guest内部看到的“CPU”其实是被KVM调度器安排到物理核上运行的线程。因此，vCPU的性能不仅取决于虚拟化开销，还取决于Linux调度器如何分配物理CPU时间。

默认情况下，Linux使用CFS（完全公平调度器）调度vCPU线程。CFS追求公平，但对延迟敏感的虚拟机并不友好：当宿主机负载较高时，vCPU线程可能被抢占或迁移到其他物理核，导致Guest内部出现“莫名卡顿”。KVM还支持SCHED_FIFO实时调度策略，可将vCPU线程设为实时优先级，但需谨慎使用，否则可能饿死宿主机其他进程。

vCPU调度中常见的三个问题：

CPU超配（Overcommit）：物理核数少于vCPU总数，导致vCPU线程排队等待，Guest内部表现为CPU利用率上不去、延迟抖动。
vCPU迁移：线程在不同物理核之间迁移，导致缓存失效、NUMA远程访问增加。
锁竞争：多个vCPU线程争抢同一把宿主机锁（如QEMU大锁），造成额外开销。

三、CPU亲和性与NUMA绑定

CPU亲和性（CPU Affinity）是把vCPU线程“钉”在指定物理核上的技术。它能减少线程迁移、提升缓存命中率，并在NUMA架构下避免跨节点内存访问。KVM环境下常用两种方式：

virsh vcpupin：将虚拟机的vCPU绑定到宿主机物理CPU。
taskset / cgroup cpuset：在宿主机层面控制QEMU进程或线程的CPU集合。

# 查看虚拟机 vCPU 当前亲和性
virsh vcpupin kvm-vm1

# 将 vCPU0 绑定到物理核 2，vCPU1 绑定到物理核 3
virsh vcpupin kvm-vm1 0 2
virsh vcpupin kvm-vm1 1 3

# 使用 taskset 绑定 QEMU 进程到 4-7 号核
taskset -pc 4-7 $(pgrep -f "qemu-system-x86_64.*kvm-vm1")

# 查看 NUMA 拓扑，确认物理核与内存节点关系
numactl --hardware
lscpu | grep -i numa

在NUMA服务器上，建议把同一虚拟机的所有vCPU绑定到同一个NUMA节点内的物理核，并用numactl --membind把内存也绑定到该节点，避免跨节点访问带来的延迟。

四、性能调优清单与对比

CPU虚拟化调优不是单一参数，而是一组组合动作。下表列出常见调优项、作用与推荐做法：

调优项	作用	推荐做法
CPU 亲和性绑定	减少vCPU迁移，提升缓存命中	virsh vcpupin 或 taskset 绑定到固定物理核
NUMA 绑定	避免跨节点内存访问	numactl --cpunodebind --membind
CPU 隔离	防止宿主机进程干扰vCPU	内核参数 isolcpus 隔离专用核
大页内存	减少TLB Miss，降低EPT开销	启用 2MB/1GB HugePages
vCPU 超配控制	避免CPU资源争抢	vCPU总数不超过物理核数的1.5倍
CPU 模式选择	决定Guest可见指令集	host-passthrough 获得最佳性能

五、案例场景：数据库虚拟机CPU抖动排查

某业务在KVM上运行MySQL，物理机为双路16核（共32核），虚拟机配置8个vCPU。业务反馈高峰期查询延迟从5ms飙升到80ms。排查过程如下：

在宿主机执行top -H，发现8个vCPU线程在多个物理核之间频繁迁移。
执行virsh vcpupin db-vm，确认vCPU未做任何绑定。
执行numactl --hardware，发现虚拟机内存跨了两个NUMA节点。
将8个vCPU绑定到同一NUMA节点的8个物理核，并用numactl --membind=0绑定内存。
重启虚拟机后，高峰期查询延迟回落到6ms左右，CPU缓存命中率明显提升。

常见误区：认为“vCPU越多性能越好”。实际上，vCPU数量超过物理核数会导致调度排队，Guest内部反而更慢。另一个误区是只做CPU绑定却忽略NUMA内存绑定，导致跨节点访问，性能提升有限。

六、复盘与建议

CPU虚拟化的性能优化，本质是“减少VM-Exit、减少迁移、减少跨节点访问”。在KVM生产环境中，建议遵循以下顺序：

先确认CPU虚拟化已开启：egrep -c '(vmx|svm)' /proc/cpuinfo，结果大于0表示支持。
虚拟机CPU模式优先使用host-passthrough，让Guest直接看到物理CPU特性。
对延迟敏感的业务，务必做vCPU亲和性绑定与NUMA绑定。
控制超配比例，避免vCPU总数远超物理核数。
用perf kvm stat观察VM-Exit原因分布，定位是I/O、中断还是页表导致的退出。

# 查看 KVM 虚拟机退出原因统计
perf kvm stat live

# 查看虚拟机 CPU 使用与就绪时间
virsh domstats db-vm --cpu-total

# 检查 CPU 虚拟化支持
egrep -c '(vmx|svm)' /proc/cpuinfo

掌握VT-x/AMD-V的退出机制、vCPU调度模型、亲和性与NUMA绑定方法，再结合业务负载特征做针对性调优，才能让KVM虚拟机在CPU层面接近物理机的性能表现。