4. HugeTLB 文件系统：hugetlbfs 的挂载与使用
HugeTLB 文件系统（hugetlbfs）是 Linux 内核提供的一种特殊虚拟文件系统，它允许用户态进程通过标准的文件操作（open、mmap）来分配和使用大页内存。与通过内核参数预留的静态大页不同，hugetlbfs 提供了一种更灵活、更动态的大页管理方式，特别适合 DPDK 这类需要精确控制内存物理位置和页面大小的应用。
核心概念： hugetlbfs 将大页内存抽象为文件，进程通过 mmap 映射这些文件来获得大页物理内存。这种方式天然支持进程隔离、权限控制和按需分配。
4.1 hugetlbfs 的挂载
在使用 hugetlbfs 之前，必须将其挂载到文件系统的某个目录节点上。挂载操作决定了该挂载点下可分配的大页大小、访问权限以及 NUMA 节点亲和性。
4.1.1 基本挂载命令
# 创建挂载点目录
mkdir -p /mnt/huge
# 挂载 hugetlbfs，使用默认大页大小（系统默认 hugepagesz）
mount -t hugetlbfs nodev /mnt/huge执行上述命令后，/mnt/huge 目录下即可创建文件来分配大页内存。默认情况下，分配的大页大小与内核启动参数 default_hugepagesz 一致（通常是 2MB）。
4.1.2 指定大页大小挂载
当系统配置了多种大页大小（例如同时支持 2MB 和 1GB）时，必须通过 pagesize 挂载选项明确指定使用哪种大页。
# 挂载 2MB 大页专用目录
mount -t hugetlbfs -o pagesize=2M nodev /mnt/huge_2MB
# 挂载 1GB 大页专用目录
mount -t hugetlbfs -o pagesize=1G nodev /mnt/huge_1GB
重要： 在同一个挂载点下，所有文件分配的大页大小必须一致。如果需要同时使用 2MB 和 1GB 大页，必须创建不同的挂载点。
4.2 mount -t hugetlbfs 命令详解
mount -t hugetlbfs 命令支持多个挂载选项，用于精细控制大页内存的行为。下表列出了最常用的选项及其含义。
| 挂载选项 | 参数示例 | 说明 |
|---|---|---|
pagesize |
pagesize=2M |
指定该挂载点下分配的大页大小，必须与系统已预留的大页大小匹配。 |
min_size |
min_size=256M |
设置挂载点下最小可分配的大页内存总量，用于保证最低内存配额。 |
nr_inodes |
nr_inodes=1024 |
限制挂载点下可创建的最大文件数（inode 数量），防止耗尽系统资源。 |
size |
size=1G |
设置挂载点下可分配的大页内存上限，超过此限制的 mmap 将失败。 |
group |
group=1000 |
设置挂载点下创建文件的默认组 ID，用于权限控制。 |
mode |
mode=0770 |
设置挂载点下创建文件的默认权限位，限制非授权进程访问。 |
uid |
uid=0 |
设置挂载点下创建文件的默认用户 ID。 |
gid |
gid=0 |
设置挂载点下创建文件的默认组 ID。 |
4.2.1 典型生产环境挂载示例
在 DPDK 生产环境中，通常需要为每个 NUMA 节点创建独立的 hugetlbfs 挂载点，以实现 NUMA 感知的内存分配。
# NUMA node 0 挂载点
mount -t hugetlbfs -o pagesize=1G,size=32G,mode=0770 nodev /mnt/huge_numa0
# NUMA node 1 挂载点
mount -t hugetlbfs -o pagesize=1G,size=32G,mode=0770 nodev /mnt/huge_numa1
性能提示： 使用
size 选项限制挂载点容量可以防止单个进程耗尽所有大页资源，同时配合 mode 选项实现多租户隔离。
4.3 页面池管理
hugetlbfs 的页面池管理涉及大页的预留、分配、释放和监控。理解页面池的生命周期对于避免内存泄漏和性能抖动至关重要。
4.3.1 大页预留机制
大页内存必须在系统启动时或运行时通过 /proc/sys/vm/nr_hugepages 接口预留。预留的大页会进入一个全局的“空闲大页池”，hugetlbfs 分配时从这个池中取出页面。
# 预留 1024 个 2MB 大页（总计 2GB）
echo 1024 > /proc/sys/vm/nr_hugepages
# 查看预留状态
cat /proc/meminfo | grep HugePages
HugePages_Total: 1024
HugePages_Free: 1024
HugePages_Rsvd: 0
HugePages_Surp: 0关键字段含义：
- HugePages_Total：系统预留的大页总数。
- HugePages_Free：当前空闲的大页数量。
- HugePages_Rsvd：已被 hugetlbfs 文件预留但尚未实际分配物理内存的大页数量。
- HugePages_Surp：超过
nr_hugepages设置值的“超额”大页数量（通常为 0）。
4.3.2 页面分配与释放流程
下图展示了从 hugetlbfs 文件创建到物理大页分配完成的完整流程。
4.3.3 页面池监控命令
除了 /proc/meminfo，以下命令和接口也常用于监控大页池状态：
# 查看每个 NUMA 节点的大页分配情况
cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/free_hugepages
# 查看 hugetlbfs 挂载点使用量
df -h /mnt/huge
# 使用 hugeadm 工具（需要安装 libhugetlbfs）
hugeadm --pool-list4.3.4 页面池管理最佳实践
- 按 NUMA 节点预留： 通过
/sys/devices/system/node/nodeX/hugepages/接口为每个 NUMA 节点预留独立的大页池，避免跨 NUMA 访问。 - 设置挂载点容量上限： 使用
size挂载选项限制每个挂载点可分配的最大大页数量，防止单个 DPDK 进程耗尽所有大页。 - 监控 HugePages_Rsvd： 如果
HugePages_Rsvd持续增长但HugePages_Free不下降，说明进程 mmap 后未实际访问内存，可能导致虚假的“内存泄漏”假象。 - 使用
nr_overcommit_hugepages： 允许系统在内存充足时超额分配大页，提高内存利用率，但需谨慎配置以避免 OOM。
DPDK 集成示例： DPDK 的 EAL 层通过
--huge-dir 参数指定 hugetlbfs 挂载点。例如：--huge-dir=/mnt/huge_numa0 可强制 DPDK 从特定 NUMA 节点的挂载点分配大页，实现 NUMA 感知。