4. 视觉交互基础
在智能座舱中，视觉交互是语音之外最重要的多模态通道。摄像头持续采集驾驶员与乘客的面部、手部、身体姿态信息，计算机视觉算法把这些像素转化为可被座舱系统理解的状态量，例如“驾驶员是否分心”“视线是否离开前方”“是否正在做接听手势”“情绪是否焦躁”。本节从工程视角梳理视觉交互的六个基础概念：计算机视觉、摄像头模型、人脸检测、视线追踪、手势识别与表情识别，并说明它们在座舱链路中的位置与协作关系。
一、核心原理：从像素到交互语义
计算机视觉（Computer Vision, CV）是让机器从图像或视频中提取结构化信息的技术总称。在座舱场景中，它通常完成四类任务：检测（目标在哪里）、识别（目标是什么）、跟踪（目标如何运动）、估计（姿态、视线、表情等连续量）。摄像头模型则描述三维世界如何投影到二维图像，是后续所有几何计算的基础。
最常用的摄像头模型是针孔模型。设世界坐标为 (X, Y, Z)，图像坐标为 (u, v)，则投影关系可简写为：
u = fx * X / Z + cx
v = fy * Y / Z + cy
其中：
fx, fy 为焦距（像素单位）
cx, cy 为主点（光心在图像上的投影）
Z 为深度，Z 越大，目标在图像中越小针孔模型忽略了镜头畸变，实际工程中还需引入径向畸变系数 k1、k2 与切向畸变系数 p1、p2 进行校正。座舱 DMS（Driver Monitoring System）摄像头通常为广角镜头，畸变校正尤为关键，否则边缘区域的人脸关键点会明显偏移。
视觉交互的基本链路：图像采集 → 预处理（去噪、畸变校正、白平衡）→ 人脸检测 → 关键点定位 → 视线/手势/表情分析 → 状态融合 → 座舱决策（提醒、调节、交互）。
二、方法流程：六类技术的分工与衔接
人脸检测负责在图像中定位人脸区域，输出边界框与置信度。传统方法使用 Haar 特征与 AdaBoost，现代方法以 SSD、YOLO、RetinaFace 等深度网络为主。座舱中要求检测在逆光、夜间红外、戴口罩、戴墨镜等条件下仍稳定，因此常采用红外摄像头配合近红外补光。
视线追踪在检测到人脸后，先定位眼睛与虹膜关键点，再估计视线方向。常见做法包括基于几何的角膜反射法（PCCR）与基于表观的外观回归法。座舱中更关注“注视区域”而非精确角度，例如前方道路、中控屏、副驾屏、后视镜、手机。输出通常为注视点或注视区域标签。
手势识别分为静态手势与动态手势。静态手势识别手掌张开、握拳、点赞、OK 等；动态手势识别挥手、滑动、捏合等。座舱中常用 ToF 或红外摄像头获取手部深度，先做手部检测与 21 个关键点定位，再通过分类网络或时序模型识别手势类别。
表情识别通常基于面部动作单元（AU）或端到端分类，输出高兴、中性、惊讶、愤怒、悲伤、厌恶等类别，或连续的情绪维度（效价、唤醒度）。座舱中更关注疲劳、分心、焦躁、路怒等与安全相关的状态，而非精确情绪标签。
下表汇总六类技术的输入、输出与座舱典型用途：
| 技术 | 典型输入 | 典型输出 | 座舱用途 |
|---|---|---|---|
| 计算机视觉 | 图像/视频流 | 检测框、类别、关键点 | 整体感知底座 |
| 摄像头模型 | 3D 点、标定参数 | 2D 像素坐标 | 几何校正、测距 |
| 人脸检测 | 单帧图像 | 人脸框、置信度 | 触发后续分析 |
| 视线追踪 | 人脸关键点、虹膜 | 注视区域/角度 | 分心检测、注视交互 |
| 手势识别 | 手部图像/深度 | 手势类别、轨迹 | 免触控操作 |
| 表情识别 | 面部区域 | 情绪类别/维度 | 疲劳、情绪调节 |
三、案例场景：多模态协同的座舱交互
假设驾驶员在高速行驶中，视线离开前方超过 2 秒，同时右手做出“接听电话”手势。系统处理流程如下：
- 红外摄像头以 30fps 采集驾驶员面部与手部图像；
- 人脸检测模块输出人脸框，关键点模块定位眼睛与虹膜；
- 视线追踪模块判断注视区域为“中控屏”而非“前方道路”；
- 手势识别模块识别出“接听”手势，置信度 0.92；
- 表情识别模块输出“中性偏焦躁”，唤醒度上升；
- 融合模块综合分心时长、手势意图与情绪状态，触发语音提醒：“请保持注视前方，如需接听可说‘接听’。”
这个案例说明，单一视觉信号往往不足以做出可靠决策，必须与语音、方向盘握力、车速等信号融合，才能降低误报与漏报。
座舱视觉交互的设计原则是“先安全，后便利”。分心、疲劳、路怒等安全相关状态应优先于娱乐性手势与表情互动；任何视觉交互都不应要求驾驶员长时间注视屏幕或做出复杂手势。
四、误区与复盘：工程落地中的常见问题
误区一：把检测精度等同于交互体验。人脸检测 mAP 很高，但若关键点抖动大，视线估计会频繁跳变，导致误报。工程上更关注时序稳定性与延迟，而非单帧精度。
误区二：忽视光照与遮挡。隧道出入口、夜间、逆光、口罩、墨镜都会显著影响可见光摄像头。座舱 DMS 通常采用红外摄像头，并配合主动补光，以降低环境光影响。
误区三：摄像头模型标定一次就够。车辆振动、温度变化、镜头老化都会导致参数漂移。量产车型通常需要在产线标定，并在售后提供重新标定流程。
误区四：表情识别直接映射情绪。面部表情不等于内心情绪，文化差异与个体差异很大。座舱中应把表情作为弱证据，与语音语调、车速、驾驶行为联合判断。
复盘时建议关注以下指标：检测召回率与误报率、关键点抖动（帧间方差）、视线估计角度误差、手势识别延迟、表情识别在夜间与戴口罩条件下的准确率，以及端到端从采集到决策的时延。只有这些指标同时达标，视觉交互才具备量产可用性。
理解上述六个概念及其协作关系，是后续学习多模态融合、交互策略与工程优化的基础。视觉交互的价值不在于单点算法有多强，而在于整条链路能否在真实座舱环境中稳定、低延迟、低误报地输出可决策的状态量。