第1章 课程导论与硬件平台概览
各位同学,欢迎来到《车载AI座舱与环视算法部署实战》。我是你们这门课的主讲。
做车载AI部署这些年,我踩过不少坑,也积累了一些实战经验。今天咱们就从最基础的硬件平台开始聊起。
说白了,搞车载AI部署,你得先搞清楚你的算法要跑在什么芯片上,摄像头怎么接进来的,数据怎么传的。这些搞不明白,后面部署算法就是空中楼阁。
1.1 车载AI芯片选型:TDA4 vs Orin
先聊聊芯片选型。我个人习惯把车载AI芯片分成两派:一派是TI的TDA4系列,另一派是NVIDIA的Orin系列。
为什么会这样分?其实看应用场景就清楚了。
| 对比维度 | TDA4 (TI) | Orin (NVIDIA) |
|---|---|---|
| 算力 | 8 TOPS (TDA4VM) | 254 TOPS (Orin) |
| 功耗 | 5-20W | 15-60W |
| 典型场景 | 环视、舱内感知 | 高阶智驾、多传感器融合 |
| 生态成熟度 | 工业级、车规级 | CUDA生态、开发效率高 |
| 部署难度 | 需要深度优化 | 相对容易 |
我的建议:如果你做的是环视拼接+基础座舱功能,TDA4完全够用,而且成本低、功耗小。但如果你要跑大模型、做高阶智驾,那Orin是更合适的选择。
我记得有一次项目,客户非要拿Orin做环视拼接,结果功耗压不住,散热成了大问题。你想想看,一个环视算法在TDA4上跑得稳稳的,何必杀鸡用牛刀?
1.2 环视系统硬件架构
环视系统说白了就是四个鱼眼相机,把车周围360度的画面拼起来。但这里面门道不少。
1.2.1 鱼眼相机
鱼眼相机和普通相机最大的区别是什么?视角大。一般能达到190度甚至更高。但代价是畸变严重。
我在项目中遇到过,有些同学拿普通相机的标定方法去标鱼眼,结果标出来全是错的。嗯,这里要注意,鱼眼相机必须用专门的标定板和方法。
1.2.2 ISP(图像信号处理器)
ISP的作用是把RAW图转成我们能看的RGB图。但车载场景下,ISP还要做很多额外工作:
- 宽动态(HDR):车进出隧道时,光线变化剧烈,没有HDR你什么都看不到。
- 去噪:夜间行车,噪点多了算法就废了。
- 自动白平衡:不同色温下保证颜色一致。
小技巧:调试ISP参数时,我建议你先固定一组基础参数,然后针对不同场景(白天、夜晚、隧道)做几组预设。运行时根据环境光传感器自动切换。
1.2.3 串行器/解串器(SerDes)
为什么需要SerDes?因为摄像头离主芯片远啊。车上有四个摄像头,分布在前后左右,信号传过来容易衰减。
串行器把并行的图像数据转成串行,用同轴电缆传,抗干扰能力强。解串器再转回来给芯片处理。
我曾经遇到过一个问题:图像时不时出现花屏。查了半天,原来是串行器和解串器的配置不匹配。你想想看,这种问题在代码层面根本查不出来。
1.3 环视系统整体架构
下面这张图是我自己画的环视系统架构图,你看一眼就明白了。
注意:实际项目中,串行器和解串器之间用的是同轴电缆,长度可能达到10米以上。布线时一定要注意电磁干扰,否则图像会出现条纹。
1.4 开发板介绍
这门课我们主要用两块开发板:
- TDA4VM EVM:TI官方的评估板,接口齐全,适合做环视和座舱开发。
- Jetson AGX Orin:NVIDIA的旗舰开发板,算力强,适合做算法验证和原型开发。
我个人建议,如果你刚开始学,先用TDA4VM。为什么?因为它的SDK更成熟,文档更全,不容易卡住。等把环视流程跑通了,再上Orin做性能优化。
避坑指南:我曾经在TDA4上调试CSI接口,折腾了两天发现是线序接反了。嗯,拿到开发板后,第一件事就是对照原理图检查所有接口的引脚定义。
1.5 本章小结
这一章我们聊了:
- 车载AI芯片怎么选:TDA4适合环视座舱,Orin适合高阶智驾。
- 环视系统的硬件组成:鱼眼相机、ISP、串行器/解串器。
- 数据是怎么从摄像头传到主芯片的。
- 开发板的选择建议。