3. CUDA编程模型在Jetson上的映射
CUDA编程模型本身是跨平台抽象的：同一份核函数代码，既可以在桌面RTX显卡上编译运行，也可以在Jetson的Ampere或Orin GPU上编译运行。但“能跑”不等于“跑得好”。Jetson与桌面GPU在SM数量、显存带宽、功耗墙、内存物理形态上差异巨大，理解这些差异如何映射到线程层次、内存层次和SIMT执行上，是后续算子加速与调优的前提。
线程层次：从grid到warp的映射
CUDA的线程组织是三层结构：grid由若干block组成，block由若干thread组成。硬件执行时，block被调度到某个SM（流式多处理器）上，block内的thread以32个为一组，组成warp，warp是SM实际发射和执行的最小单位。这一映射关系在Jetson上完全一致，但规模不同。
以Jetson Orin NX 16GB为例，它拥有1024个CUDA核心，分布在8个SM中，每个SM 128个核心。桌面RTX 4090则有128个SM、16384个核心。这意味着同一个grid，在Orin上需要分更多批次（wave）才能执行完。假设一个grid有4096个block，每个block 256线程，Orin的8个SM若每个SM同时驻留若干block，可能需要几十个wave；而4090可能几个wave就完成。因此，在Jetson上，block数量与SM数量的比例直接决定调度开销和尾部效应，调优时要特别关注grid尺寸是否与SM数量匹配。
另一个关键点是warp的SIMT执行。一个warp内的32个线程共享同一条指令流，如果出现分支发散（divergence），硬件会串行执行不同分支路径，效率成倍下降。Jetson的SM同样以warp为调度单位，但寄存器文件和调度器数量少于桌面GPU，对发散和寄存器压力的容忍度更低。因此，在Jetson上写核函数时，应尽量让warp内线程走同一分支，避免细粒度条件判断。
内存层次：显存、L2与共享内存的Jetson特性
CUDA内存层次包括全局内存（显存）、L2缓存、共享内存/寄存器。Jetson与桌面GPU最大的差异在于全局内存是统一内存（Unified Memory）。Jetson的CPU和GPU共享同一块物理LPDDR5内存，GPU没有独立的GDDR显存。这带来两个后果：一是CPU与GPU之间的数据拷贝可以通过零拷贝（zero-copy）或统一内存地址访问，减少显式cudaMemcpy；二是GPU可用的显存带宽受限于LPDDR5，远低于桌面GDDR6X。
以Orin NX 16GB为例，内存带宽约102.4 GB/s；而RTX 4090的GDDR6X带宽超过1000 GB/s。这意味着在Jetson上，访存密集型算子更容易成为带宽瓶颈。优化时，应优先考虑将数据复用放在共享内存或寄存器中，减少对全局内存的重复访问。共享内存方面，Orin每个SM有约164KB可配置的共享内存/L1，与桌面Ampere架构接近，但SM数量少，总共享内存容量有限，block内共享内存使用量需要更精细地控制。
L2缓存方面，Orin的L2容量为4MB左右，桌面GPU可达数十MB。对于需要跨block复用的数据，Jetson上L2命中率更低，可能需要通过block间协作或多次kernel启动来规避。
SIMT执行与Jetson的功耗约束
SIMT（单指令多线程）是CUDA的核心执行模型：一个warp的32个线程同时执行同一条指令，但操作不同的数据。Jetson的GPU同样遵循SIMT，但受限于功耗和散热，SM的时钟频率通常低于桌面GPU。Orin NX的GPU频率最高约918MHz，而RTX 4090可boost到2.5GHz以上。这意味着即使核心数相同，Jetson的单指令吞吐也低得多。
更关键的是，Jetson有严格的功耗模式（如15W、25W、MAXN）。在低功耗模式下，GPU频率和SM数量可能被动态限制。因此，在Jetson上做性能调优时，必须先确认当前功耗模式，否则测得的性能数据没有可比性。可以使用nvpmodel -q查看当前模式，用jetson_clocks锁定最高频率进行基准测试。
与桌面GPU的差异点总结
综合来看，Jetson与桌面GPU在CUDA编程模型映射上的差异主要体现在四个方面：
- SM数量少：grid/block尺寸需要更精细地匹配SM数量，避免wave过多或过少。
- 统一内存：CPU/GPU共享物理内存，零拷贝可行，但带宽低，访存优化优先级更高。
- L2和共享内存总量小：跨block数据复用困难，需更多依赖block内共享内存和寄存器。
- 功耗与频率约束：性能受功耗模式影响，调优前必须固定频率和功耗状态。
下面这张图展示了同一份CUDA核函数在Jetson与桌面GPU上的映射差异，重点对比线程层次、内存层次和SIMT执行三个维度的关键参数。
实际调优中的映射检查清单
在Jetson上部署CUDA算子时，建议按以下顺序检查映射关系是否合理。首先，确认功耗模式：执行sudo nvpmodel -m 0切换到MAXN模式，再执行sudo jetson_clocks锁定最高频率。其次，计算grid尺寸与SM数量的比值：如果block数远小于SM数，GPU利用率不足；如果block数远大于SM数，注意尾部wave的浪费。一个经验值是让block数至少为SM数的4到8倍，以掩盖调度延迟。
然后检查内存访问模式：用nvprof或nsys查看全局内存加载/存储吞吐，如果接近带宽上限（Orin约102 GB/s），说明算子受限于访存，应优先优化数据复用。最后检查warp发散：用ncu的branch efficiency指标，如果低于90%，需要重构条件分支，尽量让warp内线程走同一路径。