3. 请求队列深度调优：queue_depth 参数、nr_requests 调整、队列深度对吞吐与延迟的影响

请求队列深度是块设备驱动中决定 I/O 并发度的核心参数。它直接控制着设备驱动层能够同时处理的未完成请求数量，是吞吐量与延迟之间最关键的权衡杠杆。本章将深入分析 queue_depth 与 nr_requests 两个关键参数，并通过实验数据揭示队列深度对性能的影响规律。

3.1 队列深度概念与分层模型

在 Linux 块设备层，请求队列深度并非单一参数，而是由多个层次共同决定的复合值。理解其分层结构是进行调优的前提。

3.2 queue_depth 参数详解

queue_depth 是块设备驱动向 SCSI 中间层或 MQ 框架注册时声明的硬件队列深度。它决定了驱动层一次最多可以向设备发送多少个未完成的请求。

3.2.1 查看当前 queue_depth

# 查看 SCSI 设备当前队列深度
cat /sys/block/sda/device/queue_depth

# 查看 NVMe 设备队列深度（通过 nvme-cli）
nvme list-subsys /dev/nvme0 | grep -i "queue"

# 查看多队列块层请求队列数
ls /sys/block/nvme0n1/mq/

3.2.2 动态调整 queue_depth

# 将 sda 的队列深度调整为 64
echo 64 > /sys/block/sda/device/queue_depth

# 验证调整结果
cat /sys/block/sda/device/queue_depth

3.3 nr_requests 参数详解

nr_requests 是块设备层请求队列的容量上限。当应用层提交 I/O 请求的速度超过驱动层处理能力时，请求会在块设备层排队等待。该参数决定了排队队列的最大长度。

3.3.1 调整 nr_requests

# 查看当前 nr_requests
cat /sys/block/sda/queue/nr_requests

# 调整为 512
echo 512 > /sys/block/sda/queue/nr_requests

# 持久化配置（通过 udev 规则）
echo 'ACTION=="add|change", KERNEL=="sd*", ATTR{queue/nr_requests}="512"' > /etc/udev/rules.d/60-io-tuning.rules

3.4 队列深度对吞吐与延迟的影响

队列深度与性能之间存在典型的“倒 U 型”关系。过浅的队列深度无法充分利用硬件并行能力，过深的队列深度则会导致排队延迟急剧上升。

3.5 调优策略与实验方法

3.5.1 分步调优流程

1. 基准测试： 使用 fio 在默认参数下测试当前设备的 IOPS 和延迟基线。
2. 逐步增加 queue_depth： 从 1 开始，依次调整为 2、4、8、16、32、64、128，记录每次的吞吐量和延迟。
3. 观察拐点： 找到吞吐量增长趋缓且延迟开始急剧上升的深度值，该值即为当前硬件的最佳队列深度。
4. 调整 nr_requests： 将 nr_requests 设置为 queue_depth 的 2~4 倍，确保块设备层有足够的缓冲空间。
5. 验证稳定性： 在峰值负载下运行 30 分钟以上，检查是否有 I/O 超时或设备重置事件。

3.5.2 使用 fio 进行队列深度测试

# 测试不同队列深度下的随机读性能
for qd in 1 2 4 8 16 32 64 128; do
    fio --name=qd_test \
        --filename=/dev/sda \
        --rw=randread \
        --bs=4k \
        --iodepth=$qd \
        --numjobs=1 \
        --time_based \
        --runtime=30 \
        --group_reporting \
        --output=qd_${qd}.json \
        --output-format=json
done

# 解析结果
for f in qd_*.json; do
    qd=$(echo $f | grep -oP '\d+')
    iops=$(jq '.jobs[0].read.iops' $f)
    lat=$(jq '.jobs[0].read.clat_ns.mean / 1000' $f)
    echo "QD=$qd  IOPS=$iops  Lat(us)=$lat"
done

3.6 多队列（blk-mq）场景下的队列深度

现代 Linux 块层使用 blk-mq（多队列）框架，每个硬件队列都有独立的 queue_depth。总并发度 = 硬件队列数 × 每队列深度。

3.7 常见问题与排查方法

• 问题： 调整 queue_depth 后 IOPS 没有提升
  排查： 检查是否达到硬件瓶颈（查看 iostat -x 1 的 %util 是否接近 100%），或 CPU 中断处理成为瓶颈。
• 问题： 增大队列深度后延迟飙升
  排查： 使用 blktrace 分析请求在队列中的停留时间，确认是否 I/O 调度器或驱动层存在锁竞争。
• 问题： 调整 nr_requests 后出现内存压力
  排查： 每个请求占用约 2~4 KB 内存，过大的 nr_requests 可能导致内存浪费。使用 slabtop 查看 blkdev_queue 缓存占用。