2. 音视频基础
在NPU音视频流水线设计中，理解音视频数据的产生、表示与压缩方式是进行硬件加速设计的前提。无论是Camera Sensor输出的RAW数据，还是麦克风阵列采集的PCM流，都需要经过采样、量化与编码三个阶段才能成为可传输、可存储的数字媒体。本章将系统梳理采样与量化的数学本质、主流编码标准（H.264/H.265/AAC/Opus）的技术特征，以及影响NPU流水线设计的关键参数，帮助开发者建立从物理信号到码流之间的完整认知链路。
2.1 采样与量化：数字化的基石
核心原理
采样是将连续时间信号转换为离散时间信号的过程。根据奈奎斯特采样定理，采样频率必须大于信号最高频率的两倍，才能无失真地重建原始信号。对于视频信号，采样发生在空间维度——CCD/CMOS传感器上的像素阵列以固定间距采集光强；对于音频信号，采样发生在时间维度——ADC以固定时间间隔读取模拟电压值。量化则是将连续幅度值映射到有限个离散电平的过程，量化位数N决定了动态范围，其理论信噪比（SNR）为 6.02N + 1.76 dB。例如，16-bit音频的理论SNR约为98dB，而8-bit视频仅约50dB。
3840×2160×2×10/8 ≈ 20.7 MB，每秒数据量高达1.24 GB。这一数字直接影响了DDR带宽预算和ISP（图像信号处理器）的时钟频率设计。
判断方法与操作流程
在实际项目中，选择采样与量化参数需遵循以下流程：
- 明确应用场景：视频会议可接受8-bit 4:2:0，而专业调色需要10-bit 4:2:2或RAW格式。
- 计算带宽需求：使用公式
带宽 = 分辨率 × 帧率 × 每像素位数 × 色度采样系数评估DDR压力。 - 评估NPU算力：更高位深意味着更多数据需要处理，需确认NPU的MAC阵列和内存带宽是否匹配。
- 验证主观质量：通过双盲测试对比不同量化深度下的画质差异，避免过度设计。
案例拆解：智能摄像头ISP参数选择
某智能摄像头项目需在NPU上同时运行人脸检测与视频编码。初始设计采用12-bit RAW输入，但实测发现NPU的ISP模块处理12-bit数据时，DDR带宽占用率高达85%，导致编码器因等待数据而丢帧。分析后发现，人脸检测算法对位深不敏感，而编码器输出为8-bit H.264。最终方案调整为：ISP前端保留12-bit RAW用于降噪和宽动态处理，但输出端转换为10-bit YUV420送入编码器，同时将人脸检测分支改为8-bit输入。优化后带宽占用降至62%，帧率稳定在30fps。
2.2 视频编码标准：H.264与H.265
核心原理
H.264（AVC）和H.265（HEVC）是当前主流的视频编码标准。两者均采用混合编码框架，包含帧内预测、帧间运动补偿、变换量化、熵编码四大模块。H.265相比H.264在同等画质下可节省约50%码率，主要得益于：更灵活的编码树单元（CTU，最大64×64）、更精细的角度帧内预测（33种模式）、运动矢量预测（AMVP）和基于DCT/DST的变换优化。在NPU硬件加速中，H.265的复杂度约为H.264的1.5-2倍，但单位码率的算力效率更高。
| 对比维度 | H.264 | H.265 |
|---|---|---|
| 编码单元 | 宏块 (16×16) | CTU (最大64×64) |
| 帧内预测模式 | 9种 (4×4亮度) | 33种角度+DC+Planar |
| 运动补偿精度 | 1/4像素 | 1/4像素 (亮度) |
| 变换块大小 | 4×4 / 8×8 | 4×4 至 32×32 |
| 参考帧管理 | DPB+MMCO | DPB+RPS |
| 典型码率节省 | 基准 | 约50% |
| NPU硬件复杂度 | 1.0x | 1.5-2.0x |
判断方法与操作流程
选择编码标准时，需综合考虑以下因素：
- 目标码率与画质：码率受限场景（如4G/5G传输）优先H.265；存储充足且兼容性要求高时选H.264。
- 硬件编解码能力：检查NPU是否集成H.265硬编解码器，以及支持的Level和Profile。
- 延迟要求：实时通信场景需开启低延迟选项（如H.264的Baseline Profile、H.265的Low-Delay P/B）。
- GOP结构设计：I帧间隔、B帧数量直接影响码率波动和随机访问能力。
实战场景：多路视频流编码
某安防NVR需同时处理16路1080p@30fps视频流。若全部采用H.264 High Profile，总码率约16×4Mbps=64Mbps；改用H.265后码率降至32Mbps，但NPU的编码器占用率从45%升至78%。进一步分析发现，H.265的CTU划分和SAO（样点自适应补偿）滤波消耗了大量算力。通过启用NPU的硬件SAO加速单元，并将GOP调整为I帧间隔2秒、B帧数减半，最终编码器占用率稳定在65%，同时码率控制在28Mbps。
2.3 音频编码标准：AAC与Opus
核心原理
AAC（Advanced Audio Coding）是MPEG-2/4标准中的音频编码格式，支持1-48通道，采样率范围8-96kHz。其核心技术包括MDCT（改进型离散余弦变换）、时域噪声整形（TNS）、立体声联合编码（M/S）和感知噪声替代（PNS）。Opus则是由IETF标准化的有损音频编码格式，融合了SILK（语音）和CELT（音乐）两种编码器，支持6-510ms可变帧长，码率范围6-510kbps，特别适合VoIP和实时通信场景。
| 特性 | AAC-LC | Opus |
|---|---|---|
| 算法延迟 | 约20-50ms | 5-65ms（可配置） |
| 采样率支持 | 8-96kHz | 8-48kHz |
| 码率范围 | 32-320kbps | 6-510kbps |
| 适用场景 | 音乐、广播 | VoIP、游戏语音 |
| NPU加速点 | MDCT、量化 | LPC、MDCT |
| 抗丢包能力 | 一般 | 优秀（PLC） |
判断方法与操作流程
音频编码选型需遵循以下步骤：
- 确定应用场景：音乐播放选AAC，实时通话选Opus。
- 评估延迟预算：Opus可低至5ms帧长，AAC通常需要20ms以上。
- 检查NPU音频DSP能力：确认是否支持硬件MDCT加速或SILK/CELT专用指令。
- 测试网络适应性：在丢包环境下对比两者的主观MOS评分。
案例拆解：TWS耳机语音通话优化
某TWS耳机方案采用NPU+DSP双核架构。初始使用AAC编码，在蓝牙带宽受限时出现语音断续。分析发现AAC的帧长固定为21.3ms，且无前向纠错机制。改用Opus后，设置帧长10ms、码率64kbps，并启用丢包隐藏（PLC）功能。实测在15%丢包率下，语音MOS分从2.8提升至4.1。NPU的DSP核心负责SILK编码，而CELT部分由NPU的SIMD单元加速，整体功耗仅增加3.5mW。
2.4 关键参数对NPU流水线的影响
核心原理
音视频关键参数直接决定了NPU流水线的架构设计。视频方面，分辨率、帧率、位深、色度采样共同决定了像素吞吐率；音频方面，采样率、位深、声道数决定了PCM数据率。这些参数不仅影响DDR带宽，还决定了NPU内部各处理单元的并行度要求。例如，4K@60fps视频需要至少498MHz的像素时钟（考虑消隐），而8K@120fps则需要约4.98GHz的等效处理能力，必须依赖多核并行或专用硬件流水线。
视频带宽 = 分辨率 × 帧率 × 位深 × 色度采样系数
音频带宽 = 采样率 × 位深 × 声道数
以4K@60fps 10-bit 4:2:2为例：3840×2160×60×10×2/8 ≈ 1.24 GB/s
判断方法与操作流程
进行NPU流水线设计时，建议按以下流程评估参数影响：
- 步骤1：列出所有输入源的音视频参数，计算总数据率。
- 步骤2：对比NPU的DDR带宽规格，预留30%余量。
- 步骤3：根据编码复杂度估算算力需求（如H.265编码约需50-100 GOPS@1080p30）。
- 步骤4：使用仿真工具（如SystemC模型）验证流水线延迟和缓冲占用。
案例拆解：智能座舱多模态流水线
某智能座舱方案需同时处理：4路1080p@30fps摄像头（用于DMS/OMS）、1路4K@60fps行车记录、4路麦克风阵列（48kHz/24-bit）和1路蓝牙电话音频。初始设计将所有视频流送入单一NPU，导致DDR带宽达到2.1GB/s，超过规格。优化方案为：将DMS摄像头降为720p@30fps（人脸检测足够），行车记录仪采用H.265编码降低码率，音频部分使用独立DSP处理。最终总带宽降至1.4GB/s，NPU利用率从92%降至75%，系统稳定性显著提升。
2.5 总结与设计建议
本章系统梳理了音视频数字化的完整链路。采样与量化决定了数据源的质量上限，编码标准则影响压缩效率与算力开销。在NPU流水线设计中，建议遵循以下原则：
- 分级处理：不同算法分支使用不同精度的数据，避免一刀切。
- 硬件加速优先：将MDCT、运动估计、SAO等固定算法固化到硬件单元。
- 动态参数调整：根据场景自动切换编码参数（如低码率模式、低延迟模式）。
- 端到端验证：从Sensor到显示/播放的完整链路测试，关注延迟、丢帧、音画同步等指标。