3. 提交与完成队列的运作机制

io_uring 的高性能并非来自某个单点优化，而是来自 SQ（Submission Queue，提交队列）与 CQ（Completion Queue，完成队列）这对环形缓冲区与内核之间形成的“无锁、批量、可轮询”协作机制。理解这一机制，关键要抓住四件事：索引如何推进、内存屏障如何保证可见性、事件通知如何被抑制或触发、内核以何种模式消费与回收。

一、SQ 与 CQ 的物理结构与索引语义

SQ 和 CQ 都是单生产者单消费者（SPSC）的环形缓冲区。用户态是 SQ 的生产者、CQ 的消费者；内核态则相反。每个环由三部分组成：

  • 数组本体：SQ 存放 SQE（提交项，64 字节），CQ 存放 CQE（完成项，16 字节）。
  • 索引：head 与 tail 是单调递增的 32 位无符号数，不取模，回绕由“与掩码”完成。
  • 掩码：mask = entries - 1，要求 entries 为 2 的幂，实际下标为 index & mask。

SQ 的 tail 由用户推进，head 由内核推进；CQ 的 tail 由内核推进，head 由用户推进。判断“还有多少可提交”用 sq_tail - sq_head，判断“有多少完成可收割”用 cq_tail - cq_head。由于索引不回绕，比较时用差值而非直接大小比较，这是避免回绕歧义的关键。

二、内存屏障：索引与数据的发布顺序

环形缓冲区的正确性依赖“先写数据、后发布索引”。若编译器或 CPU 重排了顺序，内核可能读到尚未写入的 SQE。因此 io_uring 在关键位置使用屏障：

  • 用户写完 SQE 后，需 io_uring_smp_store_release(&sq->tail, tail + n)，保证 SQE 内容先于 tail 可见。
  • 内核读取 SQ tail 用 io_uring_smp_load_acquire，确保看到 tail 时 SQE 已就绪。
  • 内核写 CQE 后发布 CQ tail 同样用 release；用户读 CQ tail 用 acquire。

在 x86 上这些屏障通常编译为普通读写，但在 ARM 等弱内存序平台上，缺少屏障会导致“索引已更新、数据未落地”的偶发错误，表现为内核读到全零 SQE 或用户读到错误 CQE。因此屏障不是可选项，而是协议的一部分。

三、事件通知：从每次唤醒到批量抑制

若每次提交都触发内核唤醒，系统调用与上下文切换会吞掉收益。io_uring 用两个字段控制通知：

  • sq->khead 与 sq->kflags：用户可设置 IORING_SQ_NEED_WAKEUP 提示内核需要唤醒。
  • cq->khead 与 cq->kflags：内核通过 IORING_CQ_EVENTFD_DISABLED 等标志控制是否向用户发事件。

典型做法是：用户先批量写入 N 个 SQE，再一次性推进 tail；若内核处于休眠，才调用 io_uring_enter 并带 IORING_ENTER_SQ_WAKEUP。完成侧则用 io_uring_register_eventfd 绑定 eventfd，配合 IORING_CQ_EVENTFD_DISABLED 在收割期间临时关闭通知，避免“收割—通知—再收割”的抖动。

四、内核轮询模式：SQPOLL 与 IOPOLL

两种轮询模式解决不同瓶颈：

  • SQPOLL：内核线程持续轮询 SQ，用户提交后无需 io_uring_enter，省去系统调用。适合高频小请求。需设置 IORING_SETUP_SQPOLL，并可指定 sq_thread_idle 让线程在空闲后休眠。
  • IOPOLL：对支持轮询的块设备，内核主动轮询完成而非依赖中断，降低完成延迟。需 IORING_SETUP_IOPOLL，且通常与 O_DIRECT 配合。

两者可叠加，但 SQPOLL 会占用一个 CPU 核，IOPOLL 要求设备支持，需按场景权衡。

SQ / CQ 环形缓冲区与内核协作机制 用户态 SQ 环形缓冲区 SQE SQE SQE SQE 空 空 head（内核消费） tail（用户推进） CQ 环形缓冲区 head（用户收割） tail（内核推进） 内核态 SQ 消费者：读取 SQE，执行 I/O CQ 生产者：写入 CQE，推进 tail SQPOLL 线程 / IOPOLL 轮询 SQE CQE 内存屏障（发布顺序） 写 SQE → smp_store_release(sq.tail) → 内核 smp_load_acquire(sq.tail) → 读 SQE 内核写 CQE → smp_store_release(cq.tail) → 用户 smp_load_acquire(cq.tail) → 读 CQE 事件通知控制 • IORING_SQ_NEED_WAKEUP：提示内核唤醒 • IORING_CQ_EVENTFD_DISABLED：收割期抑制通知 • eventfd 绑定完成事件，批量收割 内核轮询模式 • SQPOLL：内核线程轮询 SQ，免 enter 调用 • IOPOLL：轮询设备完成，降低完成延迟 • 可叠加，需权衡 CPU 占用与设备支持

五、一次完整提交与收割的时序

以提交 4 个读请求为例，用户侧流程为：

  1. 读取 sq->tail，计算可写槽位，将 4 个 SQE 写入 sq->array 指向的槽位。
  2. 用 release 语义将 sq->tail 增加 4。
  3. 若内核休眠，调用 io_uring_enter(fd, 4, 0, IORING_ENTER_SQ_WAKEUP, NULL, 0)。
  4. 内核消费 SQE，执行 I/O，将 4 个 CQE 写入 CQ 并推进 cq->tail。
  5. 用户读 cq->tail，收割 CQE，最后用 release 推进 cq->head。

注意第 5 步：用户推进 cq->head 必须在内核可覆盖这些槽位之前完成，否则内核可能覆盖尚未读取的 CQE。这也是 CQ 侧需要屏障的原因。

六、参数与行为对照

参数/标志作用典型取值/说明
entries环大小2 的幂，如 256、1024、4096
IORING_SETUP_SQPOLL启用内核 SQ 轮询线程适合高频小请求
IORING_SETUP_IOPOLL启用设备完成轮询需 O_DIRECT 与设备支持
sq_thread_idleSQPOLL 线程空闲休眠时间单位毫秒，如 1000
IORING_ENTER_SQ_WAKEUP唤醒休眠的内核仅在需要时调用
实践建议：先用默认模式跑通，再逐步开启 SQPOLL/IOPOLL；每次只改一个变量，用 perf 或 strace -c 观察系统调用次数与 CPU 占用变化，避免多个优化叠加后无法定位收益来源。
常见错误：在弱内存序平台上省略 smp_store_release，或用户推进 cq->head 时未使用 release 语义，都会导致偶发的数据错乱，且难以复现。务必按协议使用屏障。

掌握 SQ/CQ 的索引推进、屏障顺序、通知抑制与轮询模式后，就能理解 io_uring 为何能在高并发下保持低开销：它把“提交—执行—完成”的协调成本从系统调用转移到用户可控的环形缓冲区与内存序协议上，而内核只负责按约定消费与生产。

← 上一章 📖 返回目录 下一章 →