1. KSM概述：定义、历史背景与核心价值
KSM（Kernel Same-page Merging）是 Linux 内核提供的一种内存去重（Memory Deduplication）机制。它通过扫描物理内存页，识别并合并内容完全相同的页面，从而减少冗余内存占用，提高内存利用率。KSM 是虚拟化、容器和内存密集型场景下实现“超量使用（Overcommit）”的关键技术之一。
核心定义：KSM 允许内核将多个进程或虚拟机中内容相同的物理页面合并为一个写时复制（Copy-on-Write, CoW）页面。合并后，原始页面被释放，所有映射指向同一共享页；当某个进程尝试写入时，内核会为其创建一份私有副本。
1.1 历史背景
KSM 最初由 Red Hat 的 Andrea Arcangeli 在 2009 年开发，并于 Linux 内核 2.6.32 版本中合入主线。其诞生背景与虚拟化技术的快速发展密切相关：
- 虚拟化内存瓶颈：在 KVM/QEMU 虚拟化环境中，每个虚拟机（Guest）运行独立的操作系统实例。多个虚拟机可能加载相同的内核代码、共享库或空闲内存页（零页），导致大量冗余内存占用。
- 超量使用需求：物理内存有限，而用户希望在同一台宿主机上运行尽可能多的虚拟机。KSM 通过去重，使得实际内存消耗远低于各虚拟机内存分配之和。
- 从用户态到内核态：早期的内存去重尝试（如 VMware 的透明页共享）在用户态实现，性能开销大。KSM 将去重逻辑下沉到内核，利用内核的页表管理和内存回收机制，效率更高。
| 时间 | 版本/事件 | 里程碑 |
|---|---|---|
| 2009 | Linux 2.6.32 | KSM 首次合入主线内核，支持 KVM 虚拟机内存去重 |
| 2011 | Linux 3.0 | 引入 KSM 全零页（zero-page）优化，跳过零页扫描 |
| 2015 | Linux 4.4 | 增加 KSM 跨 NUMA 节点合并支持，提升大内存场景性能 |
| 2020 | Linux 5.8 | 引入 KSM 自适应扫描（adaptive scanning），动态调整扫描频率 |
1.2 核心价值：为什么需要 KSM？
KSM 在内存去重工程中的核心价值体现在以下四个维度：
- 内存节省：在虚拟化环境中，KSM 通常可以节省 30%~60% 的物理内存。例如，运行 10 台相同操作系统（如 CentOS 7）的虚拟机，合并后实际内存占用可能仅为分配总量的 40%。
- 虚拟机密度提升：相同物理内存下，启用 KSM 可以运行更多虚拟机实例，降低数据中心硬件成本。
- 写时复制（CoW）透明性：合并操作对用户进程完全透明。进程无需修改代码，内核自动处理页面合并与分裂，保证数据一致性。
- 与内核内存管理深度集成：KSM 利用内核的 LRU 链表、反向映射（rmap）和页回收机制，去重过程对系统整体性能影响可控。
工程落地关键指标：在实际部署中，KSM 的收益通常用“去重率（Deduplication Ratio）”衡量：
例如：10 台 4GB 虚拟机，合并前总分配 40GB，合并后实际占用 16GB，去重率为 60%。
去重率 = (合并前总内存 - 合并后实际内存) / 合并前总内存 × 100%例如：10 台 4GB 虚拟机，合并前总分配 40GB，合并后实际占用 16GB，去重率为 60%。
1.3 KSM 工作原理概览
KSM 的工作流程可以概括为三个核心阶段：扫描（Scan）→ 比较（Compare）→ 合并（Merge）。内核通过两个红黑树（stable tree 和 unstable tree）管理已合并和待比较的页面。
1.4 KSM 与同类技术对比
内存去重并非 KSM 独有，下表对比了 KSM 与其他主流去重技术的差异：
| 技术 | 实现层次 | 去重粒度 | CPU 开销 | 典型场景 |
|---|---|---|---|---|
| KSM | 内核（Linux） | 4KB 物理页 | 中等（周期性扫描） | KVM 虚拟化、容器 |
| UKSM | 内核（增强版） | 4KB 物理页 | 较低（智能扫描） | 大内存服务器 |
| VMware TPS | Hypervisor | 4KB 物理页 | 低（硬件辅助） | VMware vSphere |
| Hyper-V 去重 | Hypervisor | 大页/子页 | 低 | Windows Server |
| 用户态去重 | 用户态库 | 可变 | 高（上下文切换） | 特定应用 |
工程注意事项：KSM 并非“银弹”。在以下场景中需谨慎启用：
• 内存带宽敏感型应用：KSM 扫描和比较操作会消耗 CPU 和内存带宽，可能影响数据库、高频交易等延迟敏感型负载。
• 安全隔离要求高：KSM 合并后，攻击者可能通过时序侧信道推断其他进程的内存内容（如 Rowhammer 变种攻击）。
• 大页（Huge Pages）环境：KSM 默认只合并 4KB 普通页，与透明大页（THP）共存时需配置策略。
• 内存带宽敏感型应用：KSM 扫描和比较操作会消耗 CPU 和内存带宽，可能影响数据库、高频交易等延迟敏感型负载。
• 安全隔离要求高：KSM 合并后，攻击者可能通过时序侧信道推断其他进程的内存内容（如 Rowhammer 变种攻击）。
• 大页（Huge Pages）环境：KSM 默认只合并 4KB 普通页，与透明大页（THP）共存时需配置策略。
1.5 本章小结
KSM 作为 Linux 内核内存去重的基石，通过扫描、比较、合并三个步骤，在虚拟化和内存密集型场景中实现了显著的内存节省。其核心价值在于：以可控的 CPU 开销换取内存利用率的大幅提升。理解 KSM 的定义、历史演进和工作原理，是后续深入学习去重工程落地、性能调优和安全加固的基础。