1. 课程导论与预备知识
1.1 文件系统在操作系统中的角色
文件系统是操作系统中负责管理持久化数据的核心子系统。它向上为应用程序和用户提供统一的文件命名、组织、访问与共享接口，向下屏蔽块设备（磁盘、SSD、NVMe）的物理差异，将扇区、块、擦除块等底层概念抽象为逻辑上的目录树与文件流。
从系统架构视角看，文件系统处于三个关键层次之间：
| 层次 | 职责 | 典型组件 |
|---|---|---|
| 用户层 | 系统调用接口（open/read/write/close） | glibc、libc、系统调用入口 |
| 内核VFS层 | 通用文件模型、命名空间、挂载管理 | VFS inode/dentry/superblock/file |
| 具体文件系统 | 磁盘布局、块分配、目录索引、日志 | ext4、XFS、Btrfs、F2FS |
| 块设备层 | I/O调度、请求队列、设备驱动 | block layer、IO scheduler、NVMe driver |
关键认知： 文件系统不是“磁盘上的数据结构”，而是“内核中一个完整的I/O路径”。从系统调用到磁盘扇区，每一层都有明确的抽象边界。
1.2 VFS（虚拟文件系统）的设计哲学
VFS（Virtual File System）是Linux内核最成功的抽象之一。它的核心设计哲学可以概括为：“定义通用对象模型，让具体文件系统实现接口”。
VFS定义了四种核心对象，每种对象对应一组操作函数指针：
- super_block —— 代表一个已挂载的文件系统实例，包含块大小、挂载选项、根目录dentry等全局信息。
- inode —— 代表一个文件或目录的元数据（权限、大小、时间戳、数据块指针），不包含文件名。
- dentry —— 代表目录项，是文件名到inode的映射，用于路径解析缓存。
- file —— 代表一个打开的文件实例，包含当前读写偏移、访问模式、指向dentry的指针。
每个具体文件系统（ext4、XFS、Btrfs）只需注册一组回调函数（如 ext4_read_inode、ext4_write_inode、ext4_iterate），VFS在路径解析、读写、权限检查等通用逻辑中自动调用这些回调。这种设计使得Linux可以同时挂载数十种不同文件系统，而用户空间看到的始终是同一个POSIX接口。
设计启示： VFS的“接口-实现分离”模式是操作系统内核中面向对象编程的经典范例。理解VFS对象模型，是开发新文件系统的第一步。
1.3 ext4的历史地位
ext4（Fourth Extended File System）是Linux生态中部署最广泛、稳定性最高的通用文件系统。它于2008年合入Linux 2.6.28内核，至今仍是绝大多数Linux发行版的默认根文件系统。
ext4的发展脉络清晰地反映了文件系统技术的演进：
| 文件系统 | 内核引入版本 | 关键特性 | 历史意义 |
|---|---|---|---|
| ext | Linux 0.96c (1992) | 最早的文件系统，基于Minix | 奠定Linux文件系统基础 |
| ext2 | Linux 0.99.7 (1993) | 无日志、固定块大小、快速 | 成为Linux标准文件系统 |
| ext3 | Linux 2.4.15 (2001) | 在ext2基础上增加日志（journal） | 解决崩溃后fsck慢的问题 |
| ext4 | Linux 2.6.28 (2008) | 扩展性（最大1EB）、extent树、延迟分配、多块分配、纳秒时间戳 | 当前最广泛使用的Linux文件系统 |
注意： ext4不是“全新的文件系统”，而是ext3的向前兼容演进。它保留了ext3的磁盘格式兼容模式，允许从ext3在线升级到ext4。这种“兼容性优先”的设计哲学是ext4成功的关键因素之一。
ext4的核心技术亮点包括：
- Extent树（Extent Tree） —— 用连续物理块范围替代传统块映射表，大幅减少元数据开销，提升大文件性能。
- 延迟分配（Delayed Allocation） —— 将块分配推迟到数据真正刷盘时，允许文件系统做出更优的连续空间决策。
- 多块分配（Multiblock Allocator, mballoc） —— 一次分配多个连续块，减少碎片。
- 纳秒时间戳 —— 支持纳秒级文件时间精度，满足现代应用需求。
- 在线调整大小 —— 支持在线扩容文件系统，无需卸载。
1.4 本课程的学习路径与目标
本课程的目标是：从零构建一个可运行的文件系统原型，并深入理解ext4的磁盘布局与核心算法。课程采用“自顶向下”与“自底向上”相结合的双路径设计：
学习路径总览
| 阶段 | 章节范围 | 核心内容 | 产出物 |
|---|---|---|---|
| 基础篇 | 第1-5章 | VFS接口、块设备驱动、I/O路径、内存管理 | 理解内核文件系统开发环境 |
| 实践篇 | 第6-15章 | 实现一个最小文件系统（simplefs）：超级块、inode、目录、数据块、读写路径 | 可挂载的simplefs.ko内核模块 |
| 深入篇 | 第16-25章 | ext4磁盘布局详解：extent树、日志（JBD2）、多块分配、目录索引、碎片管理 | ext4布局分析工具原型 |
| 进阶篇 | 第26-30章 | 性能优化、调试技巧、兼容性设计、社区贡献指南 | 文件系统性能调优报告 |
学习目标
- 目标1： 掌握VFS核心对象模型，能够为新的文件系统注册回调函数。
- 目标2： 独立实现一个最小但功能完整的文件系统内核模块（simplefs），支持创建、读写、删除文件和目录。
- 目标3： 深入理解ext4的磁盘数据结构（超级块、块组描述符、inode表、extent树、日志），能够使用工具解析ext4镜像。
- 目标4： 掌握文件系统调试方法（ftrace、printk、crash工具、文件系统检查器），具备独立排查问题的能力。
预备知识要求： 本课程要求读者具备C语言编程基础、Linux内核模块开发入门经验（至少编译过hello.ko）、对操作系统原理（进程、内存、中断）有基本了解。每章末尾会提供“前置知识自查清单”，帮助读者补齐短板。
1.5 开发环境准备
本课程所有实验基于以下环境，建议读者提前准备：
- 操作系统： Ubuntu 22.04 LTS 或更新版本（其他Linux发行版亦可，但需自行适配内核版本）。
- 内核版本： Linux 6.x 系列（推荐 6.5+，支持最新的VFS接口）。
- 工具链： gcc、make、flex、bison、libelf-dev、pahole（用于BTF生成）。
- 调试工具： qemu-system-x86_64、gdb、crash、trace-cmd、ftrace。
- 文件系统工具： e2fsprogs（debugfs、dumpe2fs、resize2fs）、blktrace、fio。
快速验证： 执行以下命令检查环境是否就绪：
# 检查内核版本
uname -r
# 检查内核头文件是否安装
ls /lib/modules/$(uname -r)/build
# 编译一个最小内核模块测试
cat > /tmp/test.c << 'EOF'
#include <linux/module.h>
#include <linux/kernel.h>
int init_module(void) { printk(KERN_INFO "Hello FS\n"); return 0; }
void cleanup_module(void) { printk(KERN_INFO "Goodbye FS\n"); }
MODULE_LICENSE("GPL");
EOF
make -C /lib/modules/$(uname -r)/build M=/tmp modules