1. 课程概述：协议抓包与读写性能关联分析简介
1.1 为什么要讲这个？
说实话，做存储性能优化这么多年，我遇到最多的场景就是——明明硬件没问题，读写速度就是上不去。你在终端用 iostat 看到磁盘利用率只有 30%，可业务投诉说“慢死了”。这时候你会怎么办？
我以前就踩过这个坑。查硬盘、查网络、查驱动，折腾两天才发现是 SCSI 协议的指令排队参数没调对。抓了个包一看，哦，原来每个 I/O 都在等前一个完成才发出去。说白了，协议层面的一次握手开销，直接干掉了整个链路的吞吐。
所以我这几年一直有个习惯：遇到读写性能问题，先抓包看看协议在干嘛。这门课就是要系统讲清楚“抓包”和“性能”之间的那些弯弯绕绕。
1.2 两个核心概念
先捋清楚两件事：协议抓包是什么？读写性能又是什么？
- 协议抓包：用硬件或软件把通信链路上经过的协议数据单元（PDU）完整捕获下来。对象可以是网络协议（如 iSCSI、NVMe-oF）、存储总线协议（如 NVMe over PCIe、SAS、SATA），甚至内存和芯片间的互连协议（如 AXI、TileLink）。
- 读写性能：通常指存储系统完成 I/O 操作的能力，核心指标就是 IOPS（每秒 I/O 次数）、延迟和带宽。这三个值任何一个异常，都可能是协议“拖后腿”了。
你想想看，协议抓包给的是微观行为，比如某个命令的发送时刻、完成时刻、重试次数；读写性能给的是宏观统计。关联分析就是把微观和宏观对上号——哪个协议的哪个阶段卡了，导致最终性能下降。
| 维度 | 协议抓包关注点 | 读写性能对应指标 |
|---|---|---|
| 命令层 | Submit Queue、Completion Queue 深度 | IOPS、平均延迟 |
| 数据层 | 数据包大小、分片数量 | 带宽、吞吐量 |
| 控制层 | 重传、超时、错误码 | 99th 百分位延迟、异常率 |
| 传输层 | 窗口大小、流控状态 | 链路利用率、拥塞识别 |
1.3 常见的抓包手段
根据便宜和贵的区别，我分成三类。你手边有什么就用什么，但一定要搞清楚它们的精度差异。
- 软件抓包：比如
tcpdump、Wireshark、NVMenvme-cli的 log page。适合快速定位协议级异常，但时间戳精度依赖操作系统调度，微秒级的波动很常见。 - 半硬件抓包：像
RDMA sniffer、带 PCIe 分析功能的逻辑分析仪。精度能到纳秒级，但只能抓部分链路，且需要额外配置。 - 纯硬件抓包：协议分析仪（如 LeCroy PCIe 协议分析仪）、内嵌探针的 FPGA 板卡。精度最高，代价也最高——一台设备十几万人民币起步。
1.4 协议的“隐藏成本”
很多人觉得协议就是格式和状态机，跟性能关系不大。我跟你讲，大错特错。协议里藏着巨大的性能陷阱：
- 握手次数：每个 I/O 需要几次往返才能完成？SCSI 走一个 READ 命令可能要 4 次交互，NVMe 非同步模式下 1 次就可以发起。
- 头部开销：协议头占据了有效载荷的百分比。比如 iSCSI 带 TCP/IP 头，每个数据包额外消耗 40+ 字节，小 I/O 时效率极低。
- 排队策略：命令提交时需要写 SQ 寄存器吗？Completion 需要轮询还是中断？不同的策略决定了 CPU 占用率和延迟。
- 重传机制：丢一个包，整个 I/O 背靠背重传，性能直接打半折。
这些“隐藏成本”只有通过抓包才能量化。性能计数器告诉你“延迟 100μs”，但抓包才能告诉你“这 100μs 里有 30μs 是重传等待，20μs 是协议头解析，剩下 50μs 才是真正的数据传输”。
1.5 本章知识体系总览
下面这张图梳理了协议抓包与读写性能关联分析的整体流程。你可以把它当作整个课程的“地图”。
1.6 你该怎么学这门课
我说实在的，这门课不是让你背协议字段的。真正的价值是培养一种思维：看到性能数字时，能立刻想到对应的协议行为。
每章我都会带一个实战案例，可能是你日常就能复现的。比如第 3 章我们会用 tcpdump 抓 NVMe-oF 的包，然后用 Python 脚本解析出每个 I/O 的延迟分布。这些步骤我会一步步写清楚，你就跟着练。
1.7 准备好了吗？
嗯，那咱们正式开始吧。记住，协议是性能的底层影子。你抓到它，就抓住了性能问题的七寸。