第4章：Volcano调度器入门：Volcano架构与核心概念
各位同学，今天我们来聊聊Volcano调度器。说实话，我第一次接触Volcano是在一个AI训练集群的项目里。当时Kubernetes默认调度器面对GPU任务时，表现得很吃力——说白了就是调度效率低，资源利用率上不去。后来我调研了一圈，发现Volcano是专门为这类高性能计算场景设计的。嗯，今天我们就把它掰开揉碎了讲清楚。
4.1 为什么需要Volcano？
先问大家一个问题：Kubernetes自带的调度器不好用吗？
好用，但不够用。我举个例子你就明白了。假设你有10个GPU节点，每个节点8张卡。你要跑一个分布式训练任务，需要4张卡。默认调度器会怎么做？它会一张卡一张卡地分配，可能把4张卡分散到4个不同的节点上。这会导致什么问题？网络通信开销巨大，训练速度慢得像蜗牛。
Volcano的核心思路就是——批量调度。它能把一组资源一次性分配到位，确保你的任务拿到完整的资源集合后再启动。这在AI训练、大数据处理场景下特别重要。
核心价值一句话总结：Volcano让Kubernetes能高效调度GPU、高性能计算等复杂工作负载。
4.2 Volcano架构概览
我们先看一张架构图，这是我用SVG画的，帮你快速建立整体认知。
从图上你能看到，Volcano主要由两部分组成：Controller和Scheduler。Controller负责管理CRD资源（比如Job、Queue），Scheduler负责真正的调度决策。它们之间通过Kubernetes API Server交互。
4.3 三大核心概念
Volcano引入了三个关键概念，我一个个讲。
4.3.1 Queue（队列）
Queue说白了就是资源池。你把GPU资源划分成不同的队列，每个队列可以设置配额。比如，A团队分到20张卡，B团队分到10张卡。这样资源隔离就做好了。
我的经验：我在一个项目中遇到过团队之间抢GPU的情况。后来用Queue做了资源隔离，每个团队一个队列，配额写死。再也没人半夜找我投诉了。
4.3.2 PodGroup（Pod组）
PodGroup是一组Pod的集合。它告诉调度器：这组Pod必须同时被调度，要么全部成功，要么全部失败。这就是所谓的gang scheduling（组调度）。
举个例子，你的分布式训练任务需要4个worker和1个ps。如果只调度了3个worker，任务根本跑不起来。PodGroup就是用来解决这个问题的。
4.3.3 Job（作业）
Volcano的Job是对Kubernetes Job的增强。它支持多种任务类型，比如TensorFlow、PyTorch、MPI等。你只需要定义好任务模板，Volcano帮你管理生命周期。
| 概念 | 作用 | 类比 |
|---|---|---|
| Queue | 资源隔离与配额管理 | 银行柜台，每个窗口有额度 |
| PodGroup | 保证一组Pod同时调度 | 团队出游，等人齐了再出发 |
| Job | 管理AI训练任务生命周期 | 项目经理，统筹整个项目 |
4.4 部署Volcano到K8s集群
部署其实很简单。我个人习惯用Helm，一行命令搞定。
# 添加Volcano Helm仓库
helm repo add volcano https://volcano-sh.github.io/helm-charts
# 更新仓库
helm repo update
# 安装Volcano
helm install volcano volcano/volcano --namespace volcano-system --create-namespace
# 检查部署状态
kubectl get pods -n volcano-system等所有Pod都Running了，就说明部署成功。嗯，这里要注意一点：确保你的K8s集群版本在1.20以上，否则可能会有兼容性问题。
我曾经踩过的坑：有一次部署完Volcano，发现调度器一直报错。查了半天，原来是集群的RBAC权限没配好。记得检查ServiceAccount的权限是否到位。
4.5 第一个Volcano GPU Job
好戏来了。我们来跑一个真正的GPU任务。假设你有一个GPU节点，上面有1张NVIDIA Tesla T4卡。
先创建一个Queue：
apiVersion: scheduling.volcano.sh/v1beta1
kind: Queue
metadata:
name: gpu-queue
spec:
weight: 1
capability:
nvidia.com/gpu: 1
再创建一个Volcano Job：
apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: test-gpu-job
spec:
minAvailable: 1
queue: gpu-queue
tasks:
- replicas: 1
name: gpu-task
template:
spec:
containers:
- name: gpu-container
image: nvidia/cuda:11.0-base
command: ["nvidia-smi"]
resources:
requests:
nvidia.com/gpu: 1
limits:
nvidia.com/gpu: 1
restartPolicy: OnFailure
部署到集群：
kubectl apply -f queue.yaml
kubectl apply -f job.yaml
# 查看Job状态
kubectl get job -o wide
# 查看Pod日志
kubectl logs -l job-name=test-gpu-job如果一切正常，你会看到nvidia-smi的输出，显示GPU信息。这说明你的第一个Volcano GPU Job跑成功了！
关键点：注意minAvailable: 1这个字段。它告诉Volcano：至少要有1个Pod成功调度，任务才能启动。这就是PodGroup在起作用。
4.6 小结
今天我们走了一遍Volcano的入门流程。从架构到核心概念，再到实际部署和运行第一个GPU Job。说实话，Volcano的学习曲线不算陡，但它的设计思想——批量调度、资源隔离、组调度——确实值得好好消化。
你想想看，如果没有Volcano，你要手动处理GPU资源的分配、排队、冲突等问题，那得多痛苦。有了它，这些脏活累活都交给调度器了。
好了，今天的课就到这里。记住：实践出真知。赶紧去你的测试集群上试试吧。