VIP20
本课程属于：018-Edge AI传感器融合与多模态推理 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

2. Edge AI多模态推理：图像、音频与传感器联合建模

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多模态Edge AI的定义 · 应用价值 · 课程目标与学习路径
课程导入Edge
02
边缘计算基础
边缘设备类型 · 算力约束 · 部署挑战与典型场景
边缘计算基础边缘设备类型
03
多模态数据基础
图像 · 音频 · IMU
多模态数据基础图像
04
多模态融合策略
早期融合 · 晚期融合 · 混合融合的优缺点与适用场景
多模态融合策略早期融合
05
轻量化模型设计
MobileNet · EfficientNet-Lite · TinyML模型等边缘友好架构
轻量化模型设计MobileNet
06
模型压缩与加速
剪枝 · 量化 · 知识蒸馏在边缘多模态模型中的应用
模型压缩加速
07
边缘推理框架
TensorFlow Lite · ONNX Runtime · NCNN
边缘推理框架TensorFlow
08
图像模态处理
边缘端图像分类 · 目标检测 · 分割的轻量化实现
图像模态处理边缘端图像分类
09
音频模态处理
关键词识别 · 声音事件检测 · 音频特征提取（MFCC
音频模态处理关键词识别
10
传感器模态处理
加速度计 · 陀螺仪 · 磁力计等IMU数据的活动识别与信号处…
传感器模态处理加速度计
11
多模态同步与对齐
时间戳对齐 · 采样率匹配 · 数据流同步机制
多模态同步对齐
12
多模态特征提取
跨模态特征表示 · 共享嵌入空间与对比学习
多模态特征提取跨模态特征表示
13
注意力机制与Transformer
轻量级Transformer在边缘多…
Transformer注意力机制
14
端到端联合建模
构建图像+音频+传感器的统一推理模型…
端到端联合建模构建图像+音频+…
15
边缘部署实战
将多模态模型部署到树莓派 · Jetson Nano · 手机等设备
边缘部署实战将多模态模型部署…
16
实时推理优化
延迟控制 · 吞吐量优化 · 内存管理
实时推理优化延迟控制
17
案例实战
智能家居中的语音+视觉+环境传感器联…
案例实战智能家居
18
案例实战
工业设备预测性维护中的振动+声音+温…
案例实战工业设备预测性维…
19
案例实战
可穿戴设备的人体活动识别（IMU+心…
案例实战IMU+
20
案例实战
自动驾驶中的摄像头+雷达+超声波融合…
案例实战自动驾驶
21
数据增强与合成
多模态数据增强技术 · 生成对抗网络生成缺失模态
数据增强合成
22
模型鲁棒性与泛化
对抗攻击 · 噪声鲁棒性 · 跨域适应
模型鲁棒性泛化
23
隐私与安全
边缘端差分隐私 · 联邦学习 · 模型加密与安全推理
隐私安全
24
多模态评测指标
准确率 · F1 · 延迟
多模态评测指标准确率
25
常见问题与调试
模态缺失 · 数据不平衡 · 过拟合
常见问题调试
26
工具链与开发环境
Edge Impulse · TensorFlow Lite Mi… · Arduino等平台实践
工具链开发环境
27
高级主题
神经架构搜索（NAS）在边缘多模态模…
高级主题NAS
28
综合项目
设计一个完整的边缘多模态推理系统（从…
综合项目设计一个完整的边…
29
前沿趋势
多模态大模型在边缘的蒸馏与部署 · 类脑计算 · 存内计算
前沿趋势多模态大模型
30
课程总结与进阶路径
核心知识回顾 · 学习资源推荐 · 未来发展方向
课程总结进阶路径