2. Teledyne视觉算法基础与性能瓶颈分析

在边缘设备上部署 Teledyne 视觉算法时，性能问题往往不是单一环节造成的，而是采集、预处理、特征提取、检测识别四个阶段共同作用的结果。要做出有效的优化决策，首先必须理解典型算法流程中每个阶段的计算特征与数据规模，然后掌握定位计算热点、内存与带宽瓶颈的方法，最后把"实时性"这个模糊目标转化为可量化、可验证的约束条件。本节围绕这三件事展开。

典型算法流程的四个阶段及其计算特征

一条典型的工业视觉处理链可以拆解为：图像采集 → 预处理 → 特征提取 → 检测/识别。这四个阶段在数据形态、计算密度和访存模式上差异极大，优化手段也完全不同。

采集阶段的输入是相机传感器数据，输出是一帧或多帧图像。以常见的 500 万像素工业相机为例，单帧灰度图为 2448×2048×1 Byte ≈ 5 MB，彩色 Bayer 或 RGB 数据则达到 15 MB 左右。若相机以 60 fps 输出，仅采集端的数据吞吐就达到 300 MB/s（灰度）或 900 MB/s（彩色）。这一阶段的主要开销在 DMA 传输、内存写入和格式转换，计算量很小，但带宽压力极大。

预处理阶段通常包括去噪、畸变校正、白平衡、灰度化、缩放、ROI 裁剪等。这些操作大多是逐像素的，属于典型的 memory-bound 任务。例如对一帧 5 MB 灰度图做 5×5 高斯滤波，每个输出像素需要读取 25 个输入像素，即使考虑缓存复用，实际访存量也远大于图像本身。缩放和 ROI 裁剪虽然计算简单，但会引入额外的内存拷贝。

特征提取阶段是计算密度最高的部分。传统方法如 SIFT、SURF、ORB 涉及大量浮点运算和局部极值搜索；深度学习方法如 CNN 骨干网络则包含卷积、批归一化、激活等操作。以 ResNet-50 为例，单次前向推理约 4 GFLOPs，参数量约 25 M。这一阶段既吃算力也吃带宽，是优化的主战场。

检测/识别阶段包括候选框生成、NMS、分类头、后处理等。YOLO 系列在 640×640 输入下的后处理涉及数万个候选框的排序与抑制，虽然 FLOPs 不高，但分支多、访存不规则，容易成为延迟的隐性来源。

计算热点识别方法

识别计算热点不能靠猜，需要分层定位。第一层是阶段级计时：在采集、预处理、特征提取、检测识别四个阶段之间插入时间戳，统计各阶段耗时占比。如果某一阶段超过总耗时的 40%，它就是首要优化对象。

第二层是算子级剖析。以 TensorFlow Lite 或 ONNX Runtime 为例，可以开启 profiling 输出每个算子的耗时和调用次数。典型输出中，卷积层往往占据 60%～80% 的推理时间，但也要注意那些"小算子大延迟"的情况——例如频繁的 reshape、transpose、concat 在边缘设备上可能因为内存重排而消耗大量时间。

第三层是硬件计数器分析。在 ARM CPU 上可用 perf 读取 cycles、cache-misses、instructions 等事件；在 GPU/NPU 上可读取 SM 占用率、DRAM 吞吐、L2 命中率。判断依据是：如果 IPC（每周期指令数）很低而 cache-misses 很高，说明是内存瓶颈；如果 IPC 高但频率已跑满，说明是计算瓶颈。

内存与带宽瓶颈

边缘设备的内存带宽通常远低于桌面 GPU。以典型嵌入式 SoC 为例，LPDDR4 带宽约 10～25 GB/s，而桌面级 GPU 可达 500 GB/s 以上。这意味着在边缘端，数据搬运的成本往往超过计算本身。

内存瓶颈的典型信号包括：算子耗时与理论 FLOPs 严重不匹配；增大 batch size 后延迟非线性增长；cache-misses 率超过 10%。常见的缓解手段有：算子融合（如 Conv+BN+ReLU 合并，减少中间张量写回）、量化（FP32→INT8，访存量降为 1/4）、内存复用（预分配张量池，避免频繁 malloc/free）、以及数据布局优化（NHWC 对某些 NPU 更友好）。

带宽瓶颈还体现在采集与预处理之间。如果采集端输出 RGB 而算法只需要灰度，尽早做灰度化可以节省 2/3 的后续带宽。同理，ROI 裁剪应尽量在采集端或 DMA 阶段完成，而不是先搬完整帧再裁剪。

实时性约束定义

"实时"不是一个绝对概念，必须转化为可量化的约束。定义实时性约束需要明确三个参数：帧率要求、端到端延迟上限、抖动容忍度。

以一条 60 fps 的产线检测为例：帧间隔为 16.7 ms，端到端延迟（从曝光到输出结果）通常要求不超过 1～2 帧，即 16.7～33.3 ms。抖动容忍度则取决于下游执行机构——如果机械臂在 5 ms 内必须收到结果，那么延迟的 P99 值必须小于 5 ms，而不仅仅是平均值达标。

实际定义时，建议把约束写成可验证的形式：

目标帧率：≥ 60 fps
端到端延迟：P50 ≤ 20 ms，P99 ≤ 33 ms
抖动：延迟标准差 ≤ 3 ms
资源上限：CPU ≤ 70%，内存 ≤ 512 MB，功耗 ≤ 5 W

这些数字不是拍脑袋定的，而是从产线节拍、执行机构响应时间、设备散热能力反推出来的。定义清楚之后，后续的优化才有明确的验收标准：不是"感觉快了"，而是"P99 从 45 ms 降到了 28 ms，达标"。