4. Ceph 集群部署方式对比：手动部署、cephadm 部署、Rook Operator 部署

在生产环境中部署 Ceph 存储集群，通常面临三种主流选择：手动部署、cephadm 部署和Rook Operator 部署。这三种方式在自动化程度、运维复杂度、与 Kubernetes 的集成深度上存在显著差异。本章将从架构、流程、适用场景三个维度进行系统性对比。

4.1 部署方式概述与核心差异

下表从部署工具、依赖环境、生命周期管理、与 K8s 集成度四个关键维度，对三种方式进行横向对比：

4.2 手动部署：经典但繁琐

手动部署是 Ceph 最传统的部署方式，通常使用 ceph-deploy 或 ceph-ansible 工具。管理员需要手动配置每台主机的网络、时间同步、防火墙规则，并逐个启动 MON、MGR、OSD、MDS 等守护进程。

典型手动部署流程：

1. 在所有节点上安装 Ceph 软件包，配置 SSH 免密登录。
2. 在管理节点上执行 ceph-deploy new <mon-node> 创建初始 MON。
3. 手动添加 OSD：ceph-deploy osd create --data /dev/sdb <osd-node>。
4. 手动配置 CRUSH map、Pool、认证密钥。
5. 部署 CSI 驱动（如 ceph-csi）以对接 Kubernetes。

4.3 cephadm 部署：半自动化容器化方案

cephadm 是 Ceph 官方推荐的部署工具，自 Ceph Octopus 版本起成为默认方式。它使用容器化方式运行所有 Ceph 守护进程，通过 SSH 或 API 管理集群。

cephadm 部署核心步骤：

# 1. 在 bootstrap 节点上初始化集群
cephadm bootstrap --mon-ip <ip>

# 2. 添加主机到集群
cephadm shell -- ceph orch host add <hostname> <ip>

# 3. 部署 OSD（自动发现可用磁盘）
cephadm shell -- ceph orch apply osd --all-available-devices

# 4. 部署 MDS / RGW 等服务
cephadm shell -- ceph orch apply mds <fs_name> --placement="3 host1 host2 host3"

cephadm 通过 ceph orch 命令集提供服务编排能力，支持声明式服务规格（YAML）和自动扩缩容。但它仍然需要管理员手动管理主机清单和网络配置，与 Kubernetes 的集成需要额外部署 ceph-csi。

4.4 Rook Operator 部署：Kubernetes 原生声明式管理

Rook 是一个云原生存储编排器，它将 Ceph 集群的部署和管理抽象为 Kubernetes 自定义资源（CRD）。Rook Operator 负责监听这些 CRD 的变化，自动创建、配置、监控和恢复 Ceph 集群。

Rook Operator 部署架构：

Rook Operator 部署核心流程：

# 1. 部署 Rook Operator
kubectl create -f deploy/examples/crds.yaml
kubectl create -f deploy/examples/common.yaml
kubectl create -f deploy/examples/operator.yaml

# 2. 创建 CephCluster CR（声明集群规格）
cat <<EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: rook-ceph
  namespace: rook-ceph
spec:
  dataDirHostPath: /var/lib/rook
  mon:
    count: 3
    allowMultiplePerNode: false
  storage:
    useAllNodes: true
    useAllDevices: true
EOF

# 3. 创建存储池和 StorageClass
kubectl create -f deploy/examples/pool.yaml
kubectl create -f deploy/examples/storageclass.yaml

# 4. 工作负载通过 PVC 声明式使用存储
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ceph-pvc
spec:
  storageClassName: rook-ceph-block
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi

4.5 三种部署方式综合对比

以下表格从运维自动化、故障恢复、升级策略、学习曲线、生产适用性五个维度进行深度对比：

4.6 部署方式选择决策流程

以下 SVG 流程图帮助团队根据自身条件快速选择最合适的部署方式：

4.7 生产环境选型建议

• 云原生优先：如果团队已经标准化 Kubernetes 平台，且希望存储资源像计算资源一样通过 YAML 声明式管理，Rook Operator 是最佳选择。它天然支持 CSI、StorageClass、PVC 动态供给，且 Operator 模式保证了集群状态的自动修复。
• 独立 Ceph 集群：如果 Ceph 集群独立于 K8s 运行（例如作为统一存储后端同时服务 K8s 和虚拟机），cephadm 提供了良好的容器化运维体验，且升级和扩缩容操作比手动方式安全得多。
• 特殊定制场景：当需要深度定制 Ceph 配置（如自定义 CRUSH 规则、多副本策略、专用网络配置）时，手动部署仍然保留最大灵活性，但建议配合自动化工具（如 Ansible）降低出错率。