第 1 章
NVMe over Fabrics 概述
协议背景、技术优势、典型应用场景(存储分离、超融合)
基础架构
第 2 章
核心组件与架构
NVMe 控制器、子系统、命名空间、Fabrics 传输层(RDMA/FC/TCP)对比
组件传输层
第 3 章
Linux 内核与用户态驱动
nvme-cli 工具链、内核模块(nvme-rdma, nvme-fc, nvme-tcp)加载与配置
驱动内核
第 4 章
网络基础设施调优
RoCE v2 配置、PFC/ECN 流控、MTU 巨帧设置、网卡多队列(RSS)绑定
网络流控
第 5 章
RDMA 性能调优
IB/ROCE 的 GID 索引、QP 深度、SRQ 共享接收队列、内存注册与 MR 池化
RDMA内存
第 6 章
TCP 传输优化
Nagle 算法关闭、TCP 窗口缩放、内核网络参数调整
TCP内核
第 7 章
NVMe 队列深度与 I/O 调度
队列对(QP)数量、队列深度(q_depth)、I/O 调度器选择(none/mq-deadline)
队列调度
第 8 章
CPU 亲和性与中断绑定
irqbalance 关闭、RPS/RFS 设置、NUMA 感知的 CPU 与网卡绑定
CPUNUMA
第 9 章
内存管理优化
HugePages 配置、内存锁(mlockall)、DMA 内存池大小调整
内存大页
第 10 章
存储端 NVMe SSD 调优
固件版本、写入缓存策略、电源管理(APST)、格式化与命名空间管理
SSD固件
第 11 章
多路径与负载均衡
NVMe-MP 多路径配置、路径组与优先级、主动/主动与主动/被动模式
多路径高可用
第 12 章
端到端延迟分析
软件栈延迟分解(应用->内核->网卡->存储)、使用 perf 和 bpftrace 定位瓶颈
延迟性能
第 13 章
吞吐量压测方法论
fio 与 nvme-cli 配合、iodepth 与 numjobs 参数组合、延迟-吞吐量曲线解读
压测fio
第 14 章
常见性能瓶颈与排查
CPU 软中断过高、RNR 重试超时、TCP 重传、PCIe 带宽瓶颈
排查瓶颈
第 15 章
监控与可观测性
ethtool -S 统计、rdma statistic、nvme list 与 nvme smart-log、Prometheus + Grafana 集成
监控Grafana
第 16 章
安全与性能权衡
TLS 加密对 TCP 传输的影响、CHAP 认证开销、ACL 与命名空间隔离
安全加密
第 17 章
云原生环境适配
Kubernetes 中的 NVMe-oF、CSI 驱动性能调优、容器网络(Calico/Flannel)叠加影响
K8sCSI
第 18 章
硬件选型建议
网卡(ConnectX-6/7)、NVMe SSD(Optane/QLC/PLC)、PCIe Gen4/Gen5 插槽分配
硬件选型
第 19 章
固件与驱动版本管理
厂商兼容性矩阵、固件升级流程、驱动参数(modprobe.d)持久化
固件兼容性
第 20 章
性能基准测试与报告
标准化测试场景(4K 随机读/写、64K 顺序读/写)、结果对比与趋势分析
基准测试
第 21 章
NVMe over TCP 深度优化
tg3 驱动调优、TCP 卸载(TSO/GRO)、内核旁路(XDP)可行性
TCP卸载
第 22 章
NVMe over RDMA 深度优化
RC/UC/UD 传输模式选择、Inline 数据优化、PCIe 原子操作
RDMA原子
第 23 章
NVMe over FC 深度优化
FC 拓扑(点对点/交换)、Fabric 登录参数、FC 帧大小与缓冲区到缓冲区信用
FC拓扑
第 24 章
异步 I/O 与轮询模式
io_uring 与 NVMe 直通、轮询线程绑定、中断节流(interrupt coalescing)
异步io_uring
第 25 章
写放大与垃圾回收
SSD 内部写放大因子(WAF)、TRIM/Discard 命令、Over-provisioning 空间预留
WAFGC
第 26 章
QoS 与资源隔离
I/O 限流(blk-iocost)、cgroup v2 io.weight、命名空间限速(nvme ns set-features)
QoScgroup
第 27 章
大规模集群部署
NVMe-oF 网关设计、负载均衡器(LVS/HAProxy)集成、故障转移与仲裁机制
集群网关
第 28 章
性能调优案例实战
某金融核心交易系统延迟从 200μs 降至 50μs 的全过程复盘
案例金融
第 29 章
未来趋势与新技术
NVMe over CXL、计算存储(CSD)、NVMe-oF 与 SPDK 结合
趋势CXL
第 30 章
总结与最佳实践清单
30 条核心调优规则速查表、常见误区与反模式
总结速查