3. Rook Operator 架构：核心组件、CRD 资源与 OSD 管理

Rook Operator 是 Rook 控制面的核心，它通过 Kubernetes 原生的 Operator 模式，将 Ceph 集群的部署、配置、扩缩容和故障恢复等运维操作自动化。理解 Operator 的架构是掌握 OSD 替换与数据迁移的基础。

3.1 Rook Operator 核心组件

Rook Operator 由一组协同工作的控制器和组件构成，它们运行在 Kubernetes 集群中，共同管理 Ceph 集群的生命周期。

3.2 核心 CRD 资源：CephCluster 与 CephOSD

Rook 通过自定义资源定义（CRD）扩展 Kubernetes API。以下两个 CRD 是管理 Ceph 存储集群和 OSD 生命周期的核心。

3.2.1 CephCluster

CephCluster 是集群级别的顶级资源，定义了整个 Ceph 存储集群的配置。Operator 根据此 CRD 创建 MON、MGR、OSD 等所有组件。

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: rook-ceph
  namespace: rook-ceph
spec:
  dataDirHostPath: /var/lib/rook
  mon:
    count: 3
    allowMultiplePerNode: false
  mgr:
    count: 2
  storage:
    useAllNodes: true
    useAllDevices: false
    config:
      databaseSizeMB: "1024"
      journalSizeMB: "1024"
    nodes:
    - name: "worker-1"
      devices:
      - name: "sdb"
      - name: "sdc"
    - name: "worker-2"
      devices:
      - name: "sdb"
      - name: "sdc"
  network:
    provider: host
  dashboard:
    enabled: true
    ssl: true

3.2.2 CephOSD

CephOSD 是 OSD 级别的资源，代表一个具体的 OSD 守护进程及其关联的存储设备。Operator 通过管理 CephOSD 资源来实现 OSD 的创建、删除、替换和迁移。

apiVersion: ceph.rook.io/v1
kind: CephOSD
metadata:
  name: osd-0
  namespace: rook-ceph
spec:
  # OSD 所属的 CephCluster 引用
  clusterName: rook-ceph
  # 节点名称
  nodeName: worker-1
  # 设备路径
  devicePath: /dev/sdb
  # OSD 配置
  config:
    osdJournalSize: "1024"
    osdMemoryTarget: "4GB"
  # 状态管理
  status:
    phase: Active

3.3 Operator 如何管理 OSD

OSD 管理是 Rook Operator 最核心的职责之一，涉及从设备发现到数据迁移的完整生命周期。下图展示了 Operator 管理 OSD 的核心流程。

3.4 OSD 管理的关键操作流程

Operator 管理 OSD 的过程可以分解为以下几个关键步骤，这些步骤构成了自动化 OSD 替换与数据迁移的基础。

1. 设备发现与准备：Rook Agent 或 Discover 组件扫描节点磁盘，将可用设备信息上报。Operator 根据 CephCluster 中的 storage 配置，决定哪些设备用于 OSD。
2. OSD 资源创建：Operator 为每个选中的设备创建一个 CephOSD CRD 资源，并设置初始状态为 Provisioning。
3. OSD 守护进程启动：OSD 控制器监听到新的 CephOSD 资源后，执行以下操作：
   • 在目标节点上准备设备（分区、格式化、挂载）。
   • 创建 OSD 的 Deployment 或 DaemonSet，启动 ceph-osd 守护进程。
   • 将 OSD 加入 Ceph 集群的 CRUSH Map。
   • 更新 CephOSD 状态为 Active。
4. OSD 状态监控与故障检测：Operator 持续监控 OSD Pod 的运行状态和 Ceph 集群的健康指标。当检测到 OSD 故障（如磁盘损坏、Pod 崩溃）时，触发自动修复流程。
5. OSD 替换与数据迁移：在替换场景中，Operator 执行以下步骤：
   • 将故障 OSD 标记为 out，触发 Ceph 集群自动数据回填。
   • 等待数据迁移完成后，销毁旧的 OSD Pod 和 CephOSD 资源。
   • 根据新的设备信息，创建新的 CephOSD 资源，启动新的 OSD 守护进程。
   • 将新 OSD 加入 CRUSH Map，并调整权重以平衡数据分布。

3.5 CRD 资源状态机

每个 CephOSD 资源都遵循一个明确的状态机，Operator 根据当前状态决定下一步操作。理解这个状态机有助于诊断 OSD 管理问题。