1. 课程导入与工程全景

在工业现场，机器视觉系统正从“相机 + 工控机 + 云端分析”的集中式架构，向“相机 + 边缘终端 + 云端协同”的分层架构演进。TI Sitara 系列处理器（如 AM62A、AM68A、AM69A）正是这一演进中的关键器件：它把图像信号处理（ISP）、深度学习加速（NPU）、实时控制（PRU/M4F）和工业网络（TSN、EtherCAT）集成在一颗 SoC 上，使边缘终端能够在本地完成图像采集、预处理、推理和结果输出，而不必把原始图像全部上传到云端。

理解 Sitara 的定位，需要先区分三个层次：感知层负责成像与曝光控制，边缘计算层负责图像处理与 AI 推理，控制与通信层负责把判定结果转化为执行动作或上传事件。Sitara 的价值在于它同时覆盖后两层——既能在边缘跑视觉模型，又能直接驱动 PLC、伺服或 IO，从而缩短“看到—判断—动作”的闭环时间。

典型系统架构

一个基于 Sitara 的机器视觉边缘终端，通常由以下部分组成：工业相机通过 MIPI CSI-2 或 GMSL 接口接入 SoC 的 ISP 通路；ISP 完成去马赛克、白平衡、降噪和色调映射后，把 YUV 或 RGB 帧送入内存；视觉加速器（如 AM62A 的 VPAC 与 DMPAC）承担光流、立体匹配、金字塔等传统 CV 任务；NPU 运行量化后的检测或分割模型；A53/A72 应用核负责调度、业务逻辑和网络通信；M4F 与 PRU 负责实时 IO 和电机同步。结果通过 TSN 以太网、CAN-FD 或 GPIO 输出到产线控制系统。

软硬件协同设计流程

在 Sitara 上做机器视觉终端，不能先写代码再想硬件，也不能先画板子再选模型。合理的流程是“场景定义 → 指标分解 → 硬件选型 → 软件映射 → 联合调优”。

第一步是场景定义：明确检测对象、精度要求、节拍和现场环境。例如某 3C 装配线要求检测 0.5 mm 的螺丝缺失，节拍 200 ms/件，工作距离 300 mm，现场有频闪干扰。第二步是指标分解：把“200 ms 节拍”拆成曝光 2 ms、ISP 8 ms、NPU 推理 30 ms、后处理 5 ms、通信 5 ms，留出 150 ms 余量给机械动作。第三步是硬件选型：根据分辨率与帧率选择相机接口（如 2 MP@60 fps 用 MIPI CSI-2 即可），根据模型算力选择 SoC（AM62A 的 2 TOPS NPU 可跑轻量 YOLO，AM68A 的 8 TOPS 可跑更复杂的分割网络）。第四步是软件映射：把 ISP、CV、NPU、控制任务分配到不同核，用 OpenVX 或 TI 的 Edge AI 工具链做图优化。第五步是联合调优：用真实产线数据做量化校准，观察 NPU 利用率、DDR 带宽和端到端延迟，再回头调整模型输入尺寸或 ISP 参数。

课程项目目标

本课程以一个“基于 AM62A 的零件表面缺陷检测终端”为主线项目。项目要求：相机采集 1280×720 灰度图，NPU 运行量化后的缺陷分割模型，输出缺陷区域面积与置信度；当面积超过阈值时，通过 GPIO 触发剔除气缸，同时把缺陷图像和元数据上传到 MES。项目验收指标包括：单帧处理时间 ≤ 40 ms、缺陷召回率 ≥ 95%、误报率 ≤ 3%、连续运行 8 小时无内存泄漏。

围绕这个目标，课程会依次展开：Sitara 的 ISP 与视觉加速器原理、Edge AI 工具链的模型编译与量化、GStreamer/OpenVX 管线搭建、NPU 性能分析与优化、M4F/PRU 实时控制、TSN 通信配置，以及最终的整机联调与产线验证。每一章都会给出可运行的配置片段、参数示例和判断依据，帮助你把“能跑”变成“能交付”。