第1章 课程导论与硬件平台概览

各位同学,欢迎来到《车载AI座舱与环视算法部署实战》。我是你们这门课的主讲。

做车载AI部署这些年,我踩过不少坑,也积累了一些实战经验。今天咱们就从最基础的硬件平台开始聊起。

说白了,搞车载AI部署,你得先搞清楚你的算法要跑在什么芯片上,摄像头怎么接进来的,数据怎么传的。这些搞不明白,后面部署算法就是空中楼阁。

1.1 车载AI芯片选型:TDA4 vs Orin

先聊聊芯片选型。我个人习惯把车载AI芯片分成两派:一派是TI的TDA4系列,另一派是NVIDIA的Orin系列。

为什么会这样分?其实看应用场景就清楚了。

对比维度 TDA4 (TI) Orin (NVIDIA)
算力 8 TOPS (TDA4VM) 254 TOPS (Orin)
功耗 5-20W 15-60W
典型场景 环视、舱内感知 高阶智驾、多传感器融合
生态成熟度 工业级、车规级 CUDA生态、开发效率高
部署难度 需要深度优化 相对容易

我的建议:如果你做的是环视拼接+基础座舱功能,TDA4完全够用,而且成本低、功耗小。但如果你要跑大模型、做高阶智驾,那Orin是更合适的选择。

我记得有一次项目,客户非要拿Orin做环视拼接,结果功耗压不住,散热成了大问题。你想想看,一个环视算法在TDA4上跑得稳稳的,何必杀鸡用牛刀?

1.2 环视系统硬件架构

环视系统说白了就是四个鱼眼相机,把车周围360度的画面拼起来。但这里面门道不少。

1.2.1 鱼眼相机

鱼眼相机和普通相机最大的区别是什么?视角大。一般能达到190度甚至更高。但代价是畸变严重。

我在项目中遇到过,有些同学拿普通相机的标定方法去标鱼眼,结果标出来全是错的。嗯,这里要注意,鱼眼相机必须用专门的标定板和方法。

1.2.2 ISP(图像信号处理器)

ISP的作用是把RAW图转成我们能看的RGB图。但车载场景下,ISP还要做很多额外工作:

  • 宽动态(HDR):车进出隧道时,光线变化剧烈,没有HDR你什么都看不到。
  • 去噪:夜间行车,噪点多了算法就废了。
  • 自动白平衡:不同色温下保证颜色一致。

小技巧:调试ISP参数时,我建议你先固定一组基础参数,然后针对不同场景(白天、夜晚、隧道)做几组预设。运行时根据环境光传感器自动切换。

1.2.3 串行器/解串器(SerDes)

为什么需要SerDes?因为摄像头离主芯片远啊。车上有四个摄像头,分布在前后左右,信号传过来容易衰减。

串行器把并行的图像数据转成串行,用同轴电缆传,抗干扰能力强。解串器再转回来给芯片处理。

我曾经遇到过一个问题:图像时不时出现花屏。查了半天,原来是串行器和解串器的配置不匹配。你想想看,这种问题在代码层面根本查不出来。

1.3 环视系统整体架构

下面这张图是我自己画的环视系统架构图,你看一眼就明白了。

环视系统硬件架构图 前鱼眼相机 后鱼眼相机 左鱼眼相机 右鱼眼相机 串行器 串行器 串行器 串行器 解串器(FPD-Link) 主芯片(TDA4/Orin) 数据流方向:相机 → 串行器 → 解串器 → 主芯片

注意:实际项目中,串行器和解串器之间用的是同轴电缆,长度可能达到10米以上。布线时一定要注意电磁干扰,否则图像会出现条纹。

1.4 开发板介绍

这门课我们主要用两块开发板:

  • TDA4VM EVM:TI官方的评估板,接口齐全,适合做环视和座舱开发。
  • Jetson AGX Orin:NVIDIA的旗舰开发板,算力强,适合做算法验证和原型开发。

我个人建议,如果你刚开始学,先用TDA4VM。为什么?因为它的SDK更成熟,文档更全,不容易卡住。等把环视流程跑通了,再上Orin做性能优化。

避坑指南:我曾经在TDA4上调试CSI接口,折腾了两天发现是线序接反了。嗯,拿到开发板后,第一件事就是对照原理图检查所有接口的引脚定义。

1.5 本章小结

这一章我们聊了:

  • 车载AI芯片怎么选:TDA4适合环视座舱,Orin适合高阶智驾。
  • 环视系统的硬件组成:鱼眼相机、ISP、串行器/解串器。
  • 数据是怎么从摄像头传到主芯片的。
  • 开发板的选择建议。