1. 课程导入与工程全景
在智能驾驶与工业感知系统中，单一传感器很难同时满足“远距离探测、高分辨率识别、全天候工作、低成本量产”这几项互相牵制的要求。毫米波雷达擅长测距测速、穿透雨雾，但在目标分类和横向精细定位上偏弱；摄像头拥有丰富的纹理与语义信息，却容易受逆光、夜间和恶劣天气影响。把两者放在同一块 SoC 上做时间同步、空间对齐与目标级融合，正是 TI Jacinto 系列处理器被大量采用的核心原因。本课程围绕 Jacinto 平台，讲解如何把雷达点云/目标与视觉检测结果在嵌入式端完成融合，并落地为可运行、可调试的工程。
Jacinto 是什么：一颗面向感知融合的异构 SoC
Jacinto 是 TI 面向汽车与工业感知的处理器家族，典型型号如 TDA4VM、TDA4VH、TDA4AL 等。它不是一颗“更快的 MCU”，而是一套异构计算架构：内部集成 Arm Cortex-A72 应用核、Cortex-R5F 实时安全核、Cortex-M 微控制器，以及专用的视觉加速器、深度学习加速器、图像信号处理器 ISP 和硬件安全模块。这种“通用核 + 专用加速器”的组合，让系统可以同时跑 Linux 上的感知应用、RTOS 上的实时控制、以及硬件加速的神经网络推理。
对雷达与视觉融合而言，Jacinto 的关键价值在于三点：第一，它提供多路 CSI-2 摄像头输入与雷达数据接口（以太网/SPI/CAN-FD），能把不同来源的数据汇聚到同一时间基准；第二，它具备足够的算力在片上完成图像预处理、目标检测与雷达点云处理，避免把原始数据全部回传中央域控；第三，它满足功能安全与信息安全要求，适合量产项目。下图给出 Jacinto 在融合系统中的典型数据通路与模块关系。
典型应用场景：从 ADAS 到工业感知
Jacinto 的融合能力在多个场景中都有直接价值。在乘用车前向 ADAS 中，前视摄像头负责识别车道线、车辆与行人，前向毫米波雷达提供 150～250 米的目标距离与相对速度，两者融合后可以稳定输出“前车距离 + 相对速度 + 类别”，支撑 AEB 与 ACC。在自动泊车与低速环视中，四路鱼眼相机与超声波/短距雷达融合，解决近距离盲区与泊车路径规划。在商用车与工程机械中，雷达与视觉融合用于盲区监测和防碰撞，Jacinto 的宽温与安全特性更适合这类环境。
工业侧同样适用：AGV/AMR 用单目或双目相机加毫米波雷达做避障与定位，Jacinto 可在本地完成感知，减少对云端或工控机的依赖。理解这些场景有助于建立“为什么需要融合、融合解决什么问题”的工程直觉。
学习路径：从平台认知到融合落地
本课程按“平台—数据—算法—工程”四层推进，建议按以下顺序学习，避免跳步导致调试困难。
- 平台与工具链认知：熟悉 Jacinto 的核间分工、Processor SDK 目录结构、编译与烧录流程，能在 EVM 上跑通一个摄像头采集 Demo。
- 传感器数据接入：掌握 CSI-2 图像捕获、雷达 CAN/以太网数据解析、时间戳获取与帧同步方法。
- 标定与坐标变换：完成相机内参标定、雷达到相机的外参标定，理解像素坐标、相机坐标、车辆坐标之间的转换关系。
- 融合算法实现：实现目标级关联（距离门限、马氏距离、匈牙利匹配等），处理漏检、虚警与时间不同步问题。
- 工程化与调试：性能分析、内存与带宽优化、日志与可视化工具使用、功能安全相关配置。
开发资源总览与最小可运行目标
TI 为 Jacinto 提供了较完整的资源体系。Processor SDK 包含 Linux 与 RTOS 两套软件栈，Vision Apps 提供摄像头、雷达、融合的参考示例；Edge AI 工具链支持把训练好的模型量化、编译并部署到加速器；TDA4VM EVM 是常用的入门硬件。此外，芯片 TRM、数据手册、安全手册和 TI E2E 社区是排障时的重要依据。
需要特别说明的是，本课程中出现的参数、阈值和示例数据均为教学示例或合理假设，用于说明方法与判断依据，不代表任何具体项目的实测结果。实际工程中应根据传感器型号、安装位置、场景需求重新标定与调参。
关键概念与常见误区
初学者容易把“融合”理解为把两路数据简单叠加。实际上，融合的前提是时空对齐：空间上要完成雷达到相机的坐标变换，时间上要保证两帧数据对应同一时刻或做运动补偿。另一个误区是忽视坐标系定义。本课程统一约定：车辆坐标系以车辆后轴中心为原点，x 轴指向车头前方，y 轴指向左侧，z 轴指向上方；相机坐标系以光心为原点，x 轴向右，y 轴向下，z 轴指向光轴前方。全文与图示均遵循这一约定，切换参照系时会明确说明。