3. 异构算力硬件概览
自动驾驶推理调度面对的不是单一芯片，而是一组特性差异极大的异构算力单元。CPU 擅长控制与标量逻辑，GPU 擅长高吞吐并行计算，NPU 面向神经网络算子做定点加速，FPGA 提供可重构的数据通路，ASIC 则把特定算法固化为专用电路。理解它们的算力形态、内存层级、编程模型与调度粒度，是后续做任务划分、流水线编排和时延保障的前提。
核心原理：五类算力的计算范式差异
从调度视角看，五类硬件的关键区别在于“并行度来源”和“可编程性”。CPU 通过多核、乱序执行和缓存层次获得通用性，单线程延迟低，但峰值吞吐有限；GPU 依靠数千个 SIMT 线程隐藏访存延迟，适合卷积、矩阵乘、点云体素化等规则并行任务；NPU 用脉动阵列或 MAC 阵列直接映射卷积与矩阵乘，能效比高，但算子支持受限于编译器；FPGA 以查找表和 DSP 切片搭建流水线，可做低延迟、非规则数据流处理，代价是开发周期长；ASIC 针对固定算法固化，PPA 最优，但缺乏灵活性。
方法流程：从算子特征到硬件选型
工程上做异构调度，通常按以下流程把算子映射到合适的算力单元：
- 算子画像：统计算子的计算密度、访存模式、数据类型和并行度。卷积、矩阵乘属于高密度规则并行；NMS、排序、坐标变换属于低密度非规则任务。
- 硬件匹配：高密度规则算子优先给 NPU/GPU；控制密集、分支多的逻辑给 CPU；需要极低延迟的固定流水线可考虑 FPGA。
- 精度约束：NPU 常用 INT8/INT16，GPU 支持 FP16/INT8，CPU 以 FP32 为主。量化误差会直接影响检测精度，需在调度前确认。
- 内存与带宽评估：GPU 依赖高带宽显存，NPU 依赖片上缓存，跨芯片搬运会引入额外延迟，应尽量让数据在本地完成多算子融合。
- 流水线编排：把感知、预测、规划按帧切分，形成多级流水，利用不同算力单元并行执行不同阶段。
for each frame:
cpu_preprocess() # 图像解码、坐标变换
npu_detection() # 主干网络 + 检测头
gpu_pointcloud() # 点云体素化与特征提取
cpu_fusion_track() # 多目标关联与跟踪
npu_prediction() # 轨迹预测
cpu_planning() # 路径规划与控制
典型车载计算平台对比
当前主流车载平台普遍采用“CPU + 加速器”的异构架构。NVIDIA Orin 集成 Arm Cortex-A78AE CPU、Ampere GPU 和 DLA 深度学习加速器，单芯片算力可达 254 TOPS，生态成熟，适合高阶城区 NOA；TI TDA4 采用 Cortex-A72 + R5F + MMA 加速器，功能安全设计完善，功耗低，常见于中低算力行泊一体；地平线征程 5 搭载 BPU 架构，以 INT8 高能效见长，配合 CPU 和 ISP，在国内量产车型中应用广泛。
| 平台 | CPU | AI 加速器 | 典型算力 | 优势 | 适用场景 |
|---|---|---|---|---|---|
| NVIDIA Orin | Cortex-A78AE | Ampere GPU + DLA | 254 TOPS | 生态完善、工具链成熟 | 城区 NOA、高阶智驾 |
| TI TDA4 | Cortex-A72 + R5F | MMA | 8~32 TOPS | 低功耗、功能安全 | 行泊一体、中低算力 |
| 地平线征程 5 | Cortex-A55 | BPU | 128 TOPS | 高能效、量产经验丰富 | 高速 NOA、量产车型 |
案例与场景：城区 NOA 的异构流水线
以 Orin 平台城区 NOA 为例，一帧数据从摄像头进入后，先由 CPU 完成图像解码和畸变校正，再交给 GPU 做 BEV 特征提取，DLA 并行执行检测与分割网络，CPU 同时处理激光雷达点云配准。随后 CPU 做多传感器融合与目标跟踪，NPU 执行轨迹预测，最后 CPU 完成规划控制。整个链路中，GPU 和 DLA 承担了约 80% 的算力负载，CPU 负责调度与逻辑控制。若把检测网络错误地放到 CPU 上执行，单帧延迟可能从 30 ms 恶化到 200 ms 以上，直接破坏实时性。
误区与复盘
- 只看峰值算力：TOPS 高不等于实际推理快，算子支持度、内存带宽和编译器优化同样关键。
- 忽视量化损失：INT8 加速明显，但小目标检测和远距离感知对精度敏感，需逐层评估。
- 忽略功能安全：ASIC/FPGA 在安全冗余上有优势，但开发成本高，量产项目需权衡。
- 调度粒度过粗：按整帧调度容易造成算力空转，应按算子或子图粒度做流水线重叠。