2. 智能座舱基础
多模态交互，说白了就是让机器学会用「人的方式」跟我们打交道。这一章我们先拆解三个最常用的模态：语音、手势和眼动。每个模态都有它的脾气，也有它的坑。
2.1 语音交互：ASR / TTS / NLU
语音交互是当前落地最广的模态。但很多人以为语音交互就是「说话→识别→回答」，其实中间藏着三个关键环节：ASR（语音转文字）、NLU（自然语言理解）、TTS（文字转语音）。
2.1.1 ASR：让机器「听」懂你
ASR 的准确率受环境影响很大。我在项目中遇到过最头疼的问题——会议室里三个人同时说话，ASR 直接崩了，识别出一堆乱码。
| 场景 | 典型噪声 | 推荐方案 |
|---|---|---|
| 安静室内 | 空调声、键盘声 | 单麦克风 + VAD 降噪 |
| 车载环境 | 风噪、胎噪、音乐 | 麦克风阵列 + 波束成形 |
| 公共场所 | 多人说话、背景广播 | 远场麦克风 + 声源定位 |
2.1.2 NLU：让机器「理解」你
ASR 只是第一步。用户说「帮我关灯」，ASR 转成文字，NLU 要理解这是「控制指令」+「目标：灯」+「动作：关闭」。这里有个经典坑——歧义消解。
举个例子：用户说「我要去银行」。是「银行（bank）」还是「银行（河岸）」？中文里「银行」没有歧义，但英文里 bank 就有。我做过一个国际版产品，NLU 把「I need to go to the bank」理解成了「我要去河边」，用户差点投诉。
2.1.3 TTS：让机器「说」人话
TTS 现在基本分两派：拼接合成和参数合成。拼接合成音质好但死板，参数合成灵活但容易有「电子音」。我个人更倾向混合方案——用参数合成做基座，用拼接片段做情感点缀。
// TTS 参数调优示例（以百度语音为例）
{
"text": "您好，请问有什么可以帮您？",
"spd": 5, // 语速 1-9，5 为正常
"pit": 5, // 音调 1-9，5 为正常
"vol": 5, // 音量 1-9
"per": 4, // 发音人：0 女声，1 男声，3 情感男声，4 情感女声
"aue": 6 // 音频格式：3 mp3，4 pcm，6 wav
}2.2 手势识别：静态 vs 动态
手势识别分两类：静态手势（比个「OK」）和动态手势（挥手、画圈）。两者技术路线完全不同。
2.2.1 静态手势识别
静态手势本质上是图像分类问题。你想想看，用户把手放在摄像头前，系统要判断这是「点赞」还是「比心」。常用的方法有：
- 基于骨骼点：用 MediaPipe 或 OpenPose 提取 21 个手部关键点，再分类
- 基于深度图：用 ToF 或结构光摄像头获取手部 3D 信息
- 基于模板匹配：简单但鲁棒性差，不推荐
我在项目中踩过一个坑：静态手势识别在光照不足时准确率暴跌。后来加了红外补光，才把识别率从 62% 拉到 91%。
2.2.2 动态手势识别
动态手势要处理时序信息。用户挥手是一个「从左到右再回来」的过程，系统需要识别这个序列。常用的技术有：
- DTW（动态时间规整）：适合固定模板的手势，比如画圈、画勾
- LSTM/GRU：适合复杂手势，但需要大量训练数据
- 3D CNN：直接处理视频帧，计算量大
2.3 眼动追踪
眼动追踪听起来很酷，但落地时坑特别多。它主要分两种：基于角膜反射和基于瞳孔中心。
| 技术路线 | 原理 | 精度 | 成本 |
|---|---|---|---|
| 角膜反射法 | 红外光源 + 摄像头捕捉反射点 | 0.5°-1° | 高 |
| 瞳孔中心法 | 普通摄像头 + 图像处理 | 2°-5° | 低 |
为什么会这样？因为角膜反射法需要专用硬件，而瞳孔中心法用普通摄像头就能跑。但精度差距摆在那里。
2.4 三种模态的协同关系
单独看每个模态都有短板。语音怕噪声，手势怕遮挡，眼动怕反光。但把它们组合起来，就能互相补位。
下面这张图展示了三种模态在交互流程中的协同关系：
嗯，这里要注意：融合决策不是简单的「投票」。我习惯用置信度加权——哪个模态的置信度高，就多信它一点。比如在嘈杂环境里，语音的置信度会降低，这时候手势和眼动的权重就要提上来。