2. OneFS分布式文件系统原理

PowerScale 的核心不是“把多台存储节点拼成一个共享目录”，而是由 OneFS 在集群范围内构建一个真正的单一文件系统。客户端通过任意节点的前端接口访问时，看到的都是同一棵目录树、同一套权限和同一份文件内容。理解 OneFS，需要抓住四个相互咬合的问题：命名空间如何统一、元数据如何分布、数据如何落盘、并发写入如何保持一致。

单一文件系统命名空间

在 OneFS 中，集群所有节点共同组成一个命名空间，根目录只有一个。客户端通过 NFS、SMB、S3 或 HDFS 接入时，无论连接的是 node1 还是 node6，路径 /ifs/data/project 都指向同一逻辑位置。这个“单一”并非由某台元数据服务器集中维护，而是由集群内所有节点共同参与解析和定位。

OneFS 将文件系统划分为若干逻辑层级：/ifs 是面向协议访问的根，其下可建立不同业务目录；每个目录和文件都有唯一的 inode 标识。客户端请求到达任一节点后，该节点先解析路径，再根据 inode 定位到具体数据块所在节点。因此，命名空间统一并不等于所有数据都集中在一台设备上，而是“逻辑统一、物理分散”。

分布式元数据

元数据包括目录项、inode、权限、时间戳、数据块位置映射等。OneFS 不采用单一元数据服务器，而是把元数据分布到所有节点。每个 inode 有唯一编号，目录项通过哈希分布到不同节点，避免单点瓶颈。

当客户端访问一个文件时，路径解析过程大致如下：先定位根目录 inode，再逐级查找目录项，最终得到目标文件 inode。由于目录项和 inode 可能位于不同节点，OneFS 内部通过集群通信完成跨节点查找。这种设计使元数据访问能力随节点数量增加而扩展，但也要求集群内部网络具备低延迟和高带宽。

数据布局与保护

OneFS 将文件切分为数据块，并以条带方式分布到多个节点的磁盘上。默认保护级别通常为 +2d:1n 或 +2n，前者表示可容忍两块磁盘或一个节点故障，后者表示可容忍两个节点故障。数据块和校验块共同组成保护组，分布在不同故障域中。

例如，一个 1 MiB 文件在 6 节点集群中写入时，OneFS 会将其切分为多个条带单元，按布局策略分布到不同节点的磁盘。若采用 +2d:1n，每个条带单元会生成校验数据，并确保同一保护组内的数据块不落在同一故障域。这样即使某节点离线，数据仍可通过其他节点上的数据和校验重建。

一致性模型

OneFS 采用写时复制（Copy-on-Write）和事务机制维护一致性。当文件被修改时，新数据写入新块，旧块在事务提交前保持可用。元数据变更通过日志记录，确保即使节点故障，重启后也能恢复到一致状态。

对于并发写入，OneFS 使用分布式锁管理。锁粒度可到 inode 级或字节范围级。多个客户端同时写同一文件的不同区域时，只要范围不重叠，可并行写入；若范围重叠，则由锁机制串行化，保证最终结果符合预期。NFSv3 客户端通常看到的是 close-to-open 一致性：文件关闭后，其他节点再打开时能看到最新内容。

并发访问与性能扩展

OneFS 的并发能力来自“无共享”架构：每个节点独立处理客户端请求，通过后端 InfiniBand 或以太网交换元数据和数据定位信息。读操作可在任意节点本地或远程获取数据块；写操作则先写入本地节点，再按布局策略分发到其他节点。

实际部署中，若 6 节点集群每节点配置 10 GbE 前端和 40 GbE 后端，客户端并发访问时，单节点可提供约 1 GB/s 读带宽，集群聚合带宽可随节点增加而线性扩展。但需注意，元数据密集型操作（如大量小文件创建）更依赖后端延迟和元数据分布均衡性，而非单纯带宽。

实际观察与验证

在集群中可通过以下命令观察命名空间和布局状态：

# 查看集群节点状态
isi status

# 查看文件系统容量与保护级别
isi storagepool status

# 查看指定文件的保护布局
isi get -L /ifs/data/project/sample.bin

# 查看元数据与数据分布统计
isi statistics query --stats=node.ifs.bytes.in --interval=5

执行 isi get -L 后，输出会显示文件的保护级别、条带宽度和所在节点。若发现某节点承载的元数据或数据块明显偏多，可检查是否因目录结构倾斜或节点容量不均导致。OneFS 会自动再平衡，但大规模倾斜时仍需人工介入调整目录分布或扩容。

理解 OneFS 的分布式原理后，设计时应避免把单一目录作为所有客户端的写入热点，尽量让目录树和文件分布自然分散。同时，保护级别要与节点数量和故障域匹配：3 节点集群不宜使用 +3d，因为校验块无法跨足够故障域分布。只有命名空间、元数据、数据布局和一致性机制协同工作，PowerScale 才能在高并发下保持单一文件系统的稳定视图。