GPU资源抽象与隔离：虚拟化技术深度解析
各位同学，今天我们来聊聊GPU虚拟化。说实话，这个话题在AI训练场景下越来越重要了。我见过不少团队，买了昂贵的GPU集群，结果利用率不到30%。为什么？因为资源隔离没做好，一个任务把显存吃光了，其他任务全挂掉。
GPU虚拟化，说白了就是把一块物理GPU，切分成多个逻辑单元。每个单元有自己的显存和算力配额。这样多个任务就能安全地共享同一块GPU。嗯，这里要注意，虚拟化不是简单的“分蛋糕”，它涉及到显存隔离、算力隔离、故障隔离等多个维度。
核心目标：在保证性能隔离的前提下，最大化GPU资源利用率。说白了就是“既要马儿跑，又要马儿不吃草”——让多个任务共享GPU，但互相不干扰。
vGPU技术：NVIDIA的虚拟化方案
vGPU是我最早接触的GPU虚拟化技术。我记得2018年做第一个AI平台时，用的就是vGPU。它的原理很简单：在GPU驱动层做虚拟化，把物理GPU抽象成多个虚拟GPU。
每个vGPU实例拥有独立的显存空间和算力配额。举个例子，一块A100 80GB，可以切成7个1g.5gb的vGPU实例，每个实例分配10GB显存和一定比例的算力。
| vGPU类型 | 显存分配 | 算力比例 | 适用场景 |
|---|---|---|---|
| 1g.5gb | 5GB | 1/7 | 轻量推理 |
| 2g.10gb | 10GB | 2/7 | 小模型训练 |
| 3g.20gb | 20GB | 3/7 | 中等规模训练 |
| 4g.40gb | 40GB | 4/7 | 大模型微调 |
个人经验：我在项目中遇到过一个问题——vGPU的显存隔离做得不错，但算力隔离不够严格。一个计算密集型的任务，可能会抢占其他vGPU实例的算力。后来我们通过设置算力上限（compute cap）解决了这个问题。
MIG技术：更精细的GPU切片
MIG（Multi-Instance GPU）是NVIDIA在A100上推出的技术。它比vGPU更底层，直接在硬件层面做隔离。每个MIG实例拥有独立的L2缓存、显存控制器和计算单元。
为什么会这样？因为MIG是在GPU硬件层面做的分区，而不是驱动层面的虚拟化。这意味着每个MIG实例的故障隔离性更好——一个实例崩溃，不会影响其他实例。
MIG支持多种分区模式：
- 1g.5gb：1个计算单元，5GB显存，适合推理
- 2g.10gb：2个计算单元，10GB显存，适合小模型
- 3g.20gb：3个计算单元，20GB显存，适合中等模型
- 4g.40gb：4个计算单元，40GB显存，适合大模型
- 7g.80gb：完整GPU，80GB显存
避坑指南：我曾经踩过一个坑——MIG模式下，不同实例之间的显存带宽是共享的。如果你同时跑多个带宽密集型任务，性能会大打折扣。建议把带宽敏感的任务和计算密集型的任务混部。
显存与算力隔离策略
隔离策略，说白了就是“分家产”。显存是固定的，算力是动态的。怎么分才合理？
显存隔离：
- 静态分配：启动时分配固定显存，不能超卖。优点是稳定，缺点是利用率低。
- 动态分配：按需分配，可以超卖。我建议在推理场景用这个，训练场景还是用静态分配更安全。
- 显存交换：把不活跃的显存数据换到CPU内存。嗯，这个技术还在发展中，我试过几次，延迟有点高。
算力隔离：
- 时间片轮转：每个任务轮流使用GPU。简单但效率低，上下文切换开销大。
- 算力配额：限制每个任务的GPU利用率上限。比如限制某个任务最多用50%的算力。
- 优先级调度：高优先级任务优先获得算力。我一般把在线推理任务设为高优先级，离线训练设为低优先级。
实战建议：我个人习惯用“显存静态+算力动态”的组合策略。显存固定分配，避免OOM；算力动态调整，提高利用率。你想想看，这样既保证了稳定性，又兼顾了效率。
多租户场景下的资源配额管理
多租户，说白了就是多个团队共用GPU集群。每个团队有自己的配额，不能超用。我见过最混乱的场景——三个团队抢一块GPU，最后谁都没跑起来。
配额管理的关键点：
- 资源池化：把GPU分成多个资源池，每个租户分配一个池。池之间不能互相借用。
- 弹性配额：允许租户在空闲时借用其他租户的配额。但要有回收机制，防止“借了不还”。
- 公平调度：使用Dominant Resource Fairness（DRF）算法，确保每个租户获得公平的资源份额。
- 审计与监控：记录每个租户的资源使用情况。我建议用Prometheus + Grafana做可视化监控。
这里我画了一张多租户资源管理的架构图，帮你理解整个流程：
这张图展示了多租户场景下的资源管理流程。从租户提交任务，到调度层做公平分配，再到虚拟化层做资源隔离，最后落到物理GPU上。每个环节都有对应的策略和机制。
个人经验：我建议在配额管理中引入“弹性配额”机制。比如租户A的配额是4个MIG实例，但晚上没人用，可以临时借给租户B。但一定要设置“抢占优先级”——当租户A需要时，能立即回收资源。我曾经因为没设回收机制，导致租户A的紧急任务等了2小时。
实战：配置MIG分区
最后，我们来看一个实际的MIG配置示例。假设我们有一块A100 80GB，要切成3个MIG实例：
# 查看GPU状态
nvidia-smi
# 启用MIG模式
sudo nvidia-smi -mig 1
# 创建MIG分区配置
# 方案：1个3g.20gb + 2个2g.10gb
sudo nvidia-smi mig -cgi 19,14,14
# 查看MIG实例
nvidia-smi mig -lgi
# 创建GPU实例
sudo nvidia-smi mig -gi 1 -ci 0
sudo nvidia-smi mig -gi 2 -ci 0
sudo nvidia-smi mig -gi 3 -ci 0
# 验证配置
nvidia-smi避坑指南：我曾经在配置MIG时犯过一个错误——没有先停掉所有GPU进程。结果MIG配置失败，GPU卡死了。记住，配置MIG前一定要确保GPU上没有运行任何任务。
好了，这一章的内容就到这里。GPU资源抽象与隔离是个系统工程，需要从硬件、驱动、调度等多个层面综合考虑。希望这些实战经验能帮你少走弯路。