1. 课程导入与Teledyne视觉生态概览
欢迎进入《Teledyne视觉算法性能优化与边缘部署》课程。在开始讨论算子加速、内存复用、量化部署之前，我们需要先建立一张"地图"：我们究竟在什么样的硬件与软件生态上做优化？优化的对象是什么？约束来自哪里？如果缺少这张地图，后续的调优很容易变成"凭感觉改参数"，而不是有依据的工程决策。
一、学习目标：从"能跑通"到"跑得稳、跑得快、跑得省"
本课程的目标不是重新讲授图像处理基础，而是围绕一条主线展开：在给定算力、功耗、内存与实时性约束下，让视觉算法在Teledyne的软硬件平台上达到可交付的性能。具体可拆成四个层次：
- 正确性：优化后结果与参考实现一致，误差在允许范围内（例如灰度模板匹配的得分偏差不超过设定阈值）。
- 实时性：单帧处理时间满足产线节拍，例如某检测工位要求 30 fps，则单帧预算约 33.3 ms。
- 资源占用：CPU/GPU/DSP 占用率、内存带宽、显存或片上缓存使用量可控，不因峰值溢出导致丢帧。
- 可部署性：模型或算法能落到边缘设备上，具备可复现的构建、标定与回滚流程。
这四个层次之间存在明显的权衡。例如把模板匹配从 CPU 迁移到 GPU 可以降低单帧耗时，但会引入主机与设备之间的数据传输开销；若图像本身只有 640×480 且算法简单，传输开销甚至可能超过计算收益。因此，"优化"从来不是单一指标的提升，而是在约束下寻找平衡点。
二、Teledyne视觉生态：从采集到计算的完整链条
Teledyne 在机器视觉领域的布局覆盖了成像链路的多个关键环节，理解这些产品线的定位，有助于判断"优化应该发生在哪一层"。
Teledyne DALSA 是工业成像与视觉处理的重要品牌，其产品包括面阵与线阵工业相机（如 Genie、Linea 系列）、图像采集卡以及视觉处理软件（如 Sapera LT、Sherlock 视觉软件）。DALSA 的强项在于高分辨率、高行频的工业成像，以及与之配套的采集与处理链路。在边缘部署场景中，DALSA 相机常作为前端传感器，通过 GigE Vision 或 Camera Link 输出图像，后端由嵌入式平台或工控机完成算法处理。
Teledyne FLIR 则在热成像、红外传感与机器视觉相机领域具有深厚积累。FLIR 的机器视觉相机（如 Blackfly、Oryx 系列）广泛用于工业检测、机器人与嵌入式视觉；其热成像模块则常用于温度监测、夜间或恶劣环境感知。对于边缘部署而言，FLIR 相机的价值在于提供多样化的光谱与接口选择，使算法可以在可见光、红外或融合数据上运行。
除相机外，Teledyne 生态还涉及图像采集、传输、处理与显示的完整链路。一个典型的工业视觉系统可以抽象为：光源与光学 → 相机与传感器 → 接口与传输 → 计算平台 → 算法与软件 → 执行机构或决策。性能优化可能发生在任意一层，但本课程聚焦于"计算平台 + 算法与软件"这一段，同时会说明前端采集参数（曝光、增益、触发模式）如何影响后端处理负担。
三、典型应用场景：工业与嵌入式的差异
在工业场景中，视觉算法通常运行在工控机或边缘服务器上，处理来自多台相机的高分辨率图像。典型任务包括：定位与引导（模板匹配、特征点匹配）、缺陷检测（表面划痕、脏污、缺件）、尺寸测量（亚像素边缘、圆拟合）以及字符识别（OCR/OCV）。这类场景的特点是：图像分辨率高（如 5 MP 甚至更高）、节拍明确、对稳定性要求极高，且往往需要与 PLC、机器人等设备实时通信。
在嵌入式场景中，算法运行在算力受限的平台上，例如基于 ARM 的 SoC、带 NPU 的边缘计算盒或 FPGA。典型任务包括：目标检测与跟踪（如人员、车辆、工件）、分类与识别、简单测量与计数。这类场景的特点是：功耗与散热受限、内存带宽有限、模型需要量化或剪枝，且部署环境可能无人值守，要求长期稳定运行。
两者的共同点是：算法必须在确定的资源预算内完成确定的任务。差异在于预算的松紧程度和优化手段的侧重点。工业场景更关注吞吐量与精度，嵌入式场景更关注功耗、内存与延迟。
四、性能优化与边缘部署的整体挑战
把算法从"实验室能跑"推进到"现场能交付"，通常会遇到以下几类挑战：
- 数据搬运开销：图像从相机到主机、从主机到 GPU、从 GPU 回主机，每一次搬运都消耗带宽与时间。优化方向包括零拷贝、统一内存、流水线重叠。
- 算子效率：同一个卷积或模板匹配，不同实现方式的耗时可能相差数倍。优化方向包括向量化、循环展开、算子融合、使用厂商库（如 cuDNN、OpenVINO、Sapera 处理函数）。
- 精度与量化：将 FP32 模型转为 INT8 可以显著提速，但可能引入精度损失。需要在标定集上评估误差，并决定是否采用混合精度或逐层量化。
- 部署与运维：边缘设备上的模型更新、版本管理、异常回滚，以及现场标定的可复现性，都是工程化必须解决的问题。
本课程后续将围绕这条主线展开：先建立性能度量与瓶颈定位的方法，再分别讨论 CPU、GPU、DSP/NPU 上的优化技术，最后落到边缘部署的工程实践。本章的任务是让你对"优化发生在哪里、约束来自哪里"有一个整体认知，从而在后续学习中能够把具体技术放到正确的位置上。