4. 流水线基础

在NPU（神经网络处理单元）的音视频处理链路中，流水线（Pipeline）是提升系统吞吐量的核心架构思想。无论是ISP（图像信号处理器）中的RAW域处理、视频编解码器的帧级并行，还是NPU算子间的数据流调度，流水线都扮演着“时空重叠”的关键角色。理解流水线不仅仅是理解“切分步骤”，更重要的是掌握阶段划分的粒度、瓶颈识别方法以及吞吐量与延迟之间的对立统一关系。本节将从概念出发，深入剖析阶段划分的工程准则，并通过量化模型与实战案例，帮助你在NPU音视频系统设计中做出合理的权衡决策。

上图展示了流水线最核心的时空重叠原理。在非流水线模式下，4个阶段（采集、ISP、NPU、编码）顺序执行，处理4帧图像需要16个时间单位；而在4级流水线模式下，虽然单帧延迟仍为4个时间单位，但稳态下每个时间单位都能完成一帧的输出，吞吐量提升至原来的4倍。这种“以延迟换吞吐”的架构思想，是NPU音视频系统设计的基石。

4.1 流水线核心原理与阶段划分准则

核心原理：流水线本质上是一种空间并行技术，它将一个重复执行的任务分解为多个子任务，每个子任务由独立的硬件单元（或软件模块）负责，不同任务的不同子任务在时间上重叠执行。在NPU音视频场景中，典型的流水线阶段包括：采集（Sensor/CSI）→ ISP处理（降噪/3A/缩放）→ NPU推理（检测/分割）→ 编码（H.264/H.265）→ 显示/传输。每个阶段都有明确的输入输出接口（通常为帧缓冲或行缓冲），通过硬件FIFO或DDR进行数据传递。

阶段划分的工程准则：

• 均衡性：各阶段延迟应尽量相等。若某阶段延迟为其他阶段的2倍，则该阶段成为瓶颈，整体吞吐量受限于此。例如，若NPU推理需要3ms，而ISP仅需1ms，则流水线周期为3ms，ISP单元利用率仅为33%。
• 粒度选择：音视频流水线通常采用帧级流水（每帧为一个处理单元）或行级流水（每行为一个处理单元）。帧级流水实现简单，但延迟较大；行级流水延迟低，适合对实时性要求极高的场景（如自动驾驶的紧急制动），但需要更复杂的同步逻辑。
• 寄存器/缓冲开销：每增加一级流水，就需要在阶段间插入寄存器或缓冲（用于暂存中间结果）。这些寄存器带来额外的面积、功耗和延迟（约0.5-1ns）。当级数过多时，寄存器开销可能抵消流水线带来的收益。
• 反馈回路：音视频处理常存在反馈（如ISP的3A统计需要NPU结果），这会破坏流水线的线性结构。处理方式包括：延迟反馈路径、使用预测值、或将反馈操作移至流水线末端。

4.2 吞吐量与延迟的量化权衡模型

判断方法：在设计流水线时，必须建立量化模型来评估权衡。设任务总工作量为W，划分为N个阶段，每个阶段工作量W/N。若不考虑寄存器开销，理想加速比为N。但实际中，每个阶段间存在寄存器延迟T_reg，因此实际周期T_clk = max(T_stage) + T_reg。系统吞吐量（帧率）F = 1 / T_clk，而端到端延迟L = N × T_clk。

关键公式与决策流程：

1. 测量各阶段原始延迟：通过仿真或实际硬件计时，获取采集、ISP、NPU、编码各模块的处理时间。例如：采集2ms、ISP 4ms、NPU 6ms、编码3ms。
2. 识别瓶颈：最大延迟阶段（NPU 6ms）决定了非流水线下的总延迟15ms，也决定了流水线的最小周期。
3. 尝试划分：将瓶颈阶段（NPU）进一步拆分为多个子阶段（如特征提取、卷积计算、后处理），使各阶段延迟趋于均衡。假设NPU拆分为3个子阶段，每个2ms，则流水线变为6级，周期为2ms + T_reg。
4. 计算收益：若T_reg=0.5ms，则流水线周期为2.5ms，吞吐量从非流水线的1/15ms=66fps提升至1/2.5ms=400fps（理论值）。但延迟从15ms变为6×2.5=15ms，未改善。
5. 评估硬件成本：每增加一级需要额外的寄存器堆（约几百个触发器）和可能的SRAM缓冲。对于FPGA实现，还需考虑布线拥塞。

4.3 流水线中的同步与背压机制

在NPU音视频流水线中，各阶段处理速度可能动态变化（如NPU负载随场景复杂度波动），因此需要同步机制来保证数据一致性。常用的方法包括：

• FIFO缓冲：在阶段间设置深度可配置的FIFO，吸收速率波动。FIFO深度需根据最大突发长度计算，过深会增加延迟，过浅会导致数据溢出。
• 背压（Backpressure）：当下游阶段繁忙时，通过ready/valid握手信号向上游传递反压信号，暂停上游输出。在NPU系统中，若编码器处理不过来，ISP应停止输出新帧，避免DDR带宽耗尽。
• 帧丢弃策略：在实时视频中，若系统过载，可选择丢弃非关键帧（如B帧）或降低分辨率。这需要在流水线入口处设置智能丢弃模块。

// 流水线握手信号示例（Verilog风格）
module stage_interface (
    input  logic clk,
    input  logic rst_n,
    // 上游接口
    input  logic upstream_valid,
    output logic upstream_ready,
    input  logic [7:0] upstream_data,
    // 下游接口
    output logic downstream_valid,
    input  logic downstream_ready,
    output logic [7:0] downstream_data
);
    logic [7:0] buffer;
    logic buffer_full;
    
    always_ff @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin
            buffer_full <= 1'b0;
        end else if (upstream_valid && upstream_ready) begin
            buffer <= upstream_data;
            buffer_full <= 1'b1;
        end else if (downstream_ready && downstream_valid) begin
            buffer_full <= 1'b0;
        end
    end
    
    assign upstream_ready = !buffer_full;
    assign downstream_valid = buffer_full;
    assign downstream_data = buffer;
endmodule

4.4 常见误区与设计复盘

误区一：流水线级数越多越好。实际上，当级数超过一定阈值（通常8-10级），寄存器延迟和时钟偏斜（Clock Skew）会占据主导，吞吐量不再提升甚至下降。此外，更多级数意味着更长的首帧延迟，对交互式应用不利。

误区二：忽略阶段间数据依赖。NPU推理结果可能被ISP的下一帧3A算法使用，形成循环依赖。若强行流水，会导致数据竞争。解决方案是使用延迟匹配：将反馈路径延迟与流水线深度对齐，或使用预测性3A（基于上一帧统计值）。

误区三：只关注平均吞吐量，忽视最坏情况。NPU处理时间随检测目标数量变化，可能从2ms到10ms波动。若按平均时间设计FIFO深度，突发情况下会丢帧。必须使用最坏情况执行时间（WCET）进行设计。

总结复盘：流水线设计是一个多目标优化问题。在NPU音视频系统中，应遵循以下步骤：① 测量各阶段真实延迟（包含DDR访问冲突）；② 识别瓶颈并尝试拆分；③ 计算不同级数下的吞吐量/延迟曲线；④ 结合系统实时性要求（如视频通话需<100ms延迟）选择最优级数；⑤ 在硬件实现时加入可配置的旁路（Bypass）路径，便于调试和降级运行。记住，流水线不是免费的午餐——它用硬件复杂度和延迟换取了吞吐量的倍增，而正确的权衡取决于具体的应用场景。