VIP10
本课程属于：046-智能座舱HMI交互设计 车载软件与智能汽车 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态交互设计方法与落地

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态交互概述
定义 · 发展历程 · 核心应用场景（智能座舱
多模态交互概述定义
02
核心交互模态解析（上）
语音交互（ASR/TTS/NLU） · 手势识别（静态/动态） · 眼动追踪
核心交互模态解析ASR/TTS/NLU
03
核心交互模态解析（下）
触觉反馈（振动/压力） · 脑机接口（入门） · 多模态融合策略（早期/晚期/混合融合…
核心交互模态解析触觉反馈
04
多模态交互设计原则
冗余性 · 互补性 · 一致性
多模态交互设计原…冗余性
05
用户研究与场景定义
用户画像 · 任务分析 · 场景卡片法
用户研究场景定义
06
交互原型设计工具
Figma插件（多模态组件） · ProtoPie（传感器模拟） · Axure（条件逻辑）
交互原型设计工具Figma
07
多模态交互原型实战
设计一个“语音+手势”控制智能家居的…
多模态交互原型实…设计一个“语音+…
08
语音交互设计规范
唤醒词设计 · Prompt工程 · 兜底策略
语音交互设计规范唤醒词设计
09
手势交互设计规范
手势库定义 · 可发现性 · 容错性
手势交互设计规范手势库定义
10
触觉与反馈设计
振动模式编码 · 力反馈层级 · 多模态反馈同步
触觉反馈设计
11
多模态冲突解决
模态优先级策略 · 仲裁机制 · 用户控制权
多模态冲突解决模态优先级策略
12
无障碍与包容性设计
视觉障碍 · 听觉障碍 · 运动障碍下的多模态适配
无障碍包容性设计
13
开发基础
前端技术栈（Web Speech A… · MediaPipe · WebSocket）
开发基础Web
14
语音交互落地
集成百度/阿里语音SDK · 实现语音控制指令
语音交互落地SDK
15
手势识别落地
使用MediaPipe Hands · 实现手势控制PPT翻页
手势识别落地MediaPipe
16
眼动追踪落地
使用WebGazer.js · 实现视线落点热力图
眼动追踪落地WebGazer.js
17
多模态数据同步
时间戳对齐 · 事件总线设计 · 状态管理
多模态数据同步时间戳对齐
18
多模态AI模型调用
多模态大模型（GPT-4V/LLaV… · Prompt设计
AI多模态
19
系统架构设计
端侧 vs 云侧 · 模块解耦 · 低延迟设计
系统架构设计vs
20
评估方法与指标
任务完成率 · 交互效率 · 用户满意度
评估方法指标
21
可用性测试实战
设计测试任务 · 招募用户 · 数据收集与分析
可用性测试实战设计测试任务
22
智能座舱多模态交互案例
语音+手势+视线控制的HMI设计
智能座舱多模态交…HMI
23
智能家居多模态交互案例
语音+触控+传感器联动的场景设计
智能家居多模态交…语音+触控+传感…
24
可穿戴设备多模态交互案例
手势+触觉反馈的AR眼镜交互
可穿戴设备多模态…AR
25
多模态交互中的隐私与安全
麦克风/摄像头权限管理 · 数据脱敏 · 边缘计算
多模态交互隐私
26
前沿趋势
情感计算 · 触觉互联网 · 数字孪生交互
前沿趋势情感计算
27
从设计到开发的工作流
设计规范文档 · 设计交接 · 开发评审
从设计到开发的工…设计规范文档
28
敏捷开发中的多模态迭代
MVP定义 · 用户反馈闭环 · 快速原型验证
敏捷开发多模态迭代
29
项目实战
设计并落地一个“多模态会议助手”（语…
项目实战设计并落地一个“…
30
课程总结与职业发展
作品集构建 · 行业岗位分析 · 持续学习路径
课程总结职业发展