1. 课程导入与系统总览

在智能驾驶从 L2 向 L2+/L3 演进的过程中，单一传感器已经很难同时满足“看得远、看得清、看得全、看得稳”的要求。摄像头擅长识别车道线、交通标志、车辆与行人等语义信息，但在测距精度、恶劣天气和强逆光条件下存在天然短板；毫米波雷达具备稳定的距离与相对速度测量能力，对雨雾、夜间和强光不敏感，却难以独立完成精细分类。TI 的汽车视觉与雷达融合系统，正是围绕“摄像头 + 毫米波雷达”这两类互补传感器构建的域控制器级方案，通过融合感知提升目标检测的置信度与轨迹连续性。

本课程以 TI TDA4VM / TDA4VH 系列 SoC 为硬件基础，围绕视觉与雷达融合的完整链路展开。TDA4 系列属于 TI Jacinto 处理器家族，内部集成多核异构计算资源：通用计算由 Arm Cortex-A72 承担，实时控制由 Cortex-R5F 锁步核承担，视觉加速由 VPAC（Vision Pre-processing Accelerator）与 DMPAC（Depth and Motion Perception Accelerator）完成，深度学习推理由 C7x DSP 配合 MMA 矩阵加速器执行，雷达信号处理则依赖 R5F 与 DSP 的协同。理解这套异构架构，是后续做融合算法部署与域控集成的前提。

从系统架构看，整条链路可以拆成四个层次。第一层是传感器输入层：前视摄像头通过 MIPI CSI-2 接口把 RAW 或 YUV 图像送入 SoC，毫米波雷达则通过 CAN-FD 或 LVDS 输出点云与目标列表。第二层是预处理与感知层：VPAC 完成去马赛克、降噪、畸变校正和金字塔缩放，DMPAC 提供光流与视差计算，C7x DSP 运行 CNN 检测网络，R5F 负责雷达的 FFT、CFAR 和目标聚类。第三层是融合层：在 Cortex-A72 上完成时间同步、空间对齐、目标关联与航迹管理，输出统一的目标列表。第四层是域控输出层：通过 CAN-FD 或车载以太网把融合结果发送给整车控制器，同时满足 ASIL-B/D 功能安全要求。

域控制器集成目标是本课程的主线。所谓“集成”，并不是把算法跑通就结束，而是要同时满足四类约束：实时性——从传感器采样到融合输出，端到端延迟通常要求控制在 100 ms 以内，前视感知链路甚至要压到 50 ms；确定性——R5F 锁步核承担安全相关任务，必须保证最坏执行时间可分析；带宽与算力平衡——8MP 前视摄像头单帧 RAW 数据约 16 MB，多路视频同时进入时 DDR 带宽会成为瓶颈，需要合理使用 VPAC 硬件缩放与共享内存；功能安全——关键链路要有 ECC、锁步、看门狗和故障注入机制，确保单点失效不会导致系统失控。

为了让学习路径清晰，课程按“先分后合”的方式组织。前几章先分别讲透视觉链路和雷达链路：视觉部分会涉及 MIPI CSI-2 采集配置、VPAC 的 LDC/NF/GLBCE 模块、TIDL 模型编译与量化、C7x 上的推理调度；雷达部分会涉及 FMCW 波形参数、距离/速度分辨率计算、CFAR 检测、DBSCAN 聚类和卡尔曼跟踪。中间章节进入融合核心：时间戳对齐、外参标定、坐标变换、匈牙利匹配、航迹融合与置信度管理。最后进入域控集成与实战项目：多核通信 IPC、共享内存、任务调度、安全监控、端到端性能剖析与实车数据回灌。

实战项目贯穿全课程：以一块 TDA4VM 域控板为基础，接入 1 路前视摄像头和 1 路前向毫米波雷达，完成从驱动配置、感知部署、融合算法到 CAN 输出的端到端集成。项目验收不看“能不能跑”，而看三个指标：融合后目标 ID 切换次数是否下降、航迹连续帧数是否提升、端到端延迟是否稳定在预算内。这三个指标分别对应融合质量、跟踪稳定性和实时性，也是域控集成中最常被追问的问题。

需要特别说明的是，本课程中的参数、配置和结果示例，除明确标注为实测外，均属于教学示例或合理假设，用于说明计算方法和判断依据，不代表任何具体车型的标定结果。实际工程中，摄像头内参、雷达安装角度、融合门限都需要基于实车标定数据重新确定。掌握“怎么算、怎么配、怎么判断”，比记住某一组具体数值更重要。