所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

端侧多模态大模型 边缘AI模型优化部署量化推理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
端侧多模态大模型的定义 · 发展背景 · 应用价值与课程学习路径
课程导论端侧多模态大模型…
02
边缘AI基础
边缘计算架构 · 端侧硬件平台（NPU/DSP/GPU…
AI边缘
03
多模态大模型基础
视觉-语言模型（如CLIP · LLaVA）的结构 · 训练范式与推理流程
多模态大模型基础CLIP
04
端侧部署挑战
内存带宽 · 功耗 · 延迟
端侧部署挑战内存带宽
05
模型压缩技术概览
剪枝 · 蒸馏 · 低秩分解
模型压缩技术概览剪枝
06
量化基础
定点与浮点表示 · 量化误差来源 · 对称/非对称量化
量化基础定点
07
PTQ（训练后量化）
校准数据集选择 · 动态/静态量化 · 常见工具（如TensorRT
PTQ训练后量化
08
QAT（量化感知训练）
模拟量化 · 伪量化节点 · 训练策略与端侧精度恢复技巧
QAT量化感知训练
09
混合精度量化
敏感层识别 · 混合精度配置 · 自动化搜索方法（如HAQ
混合精度量化敏感层识别
10
模型剪枝实战
结构化剪枝与非结构化剪枝 · 稀疏化推理加速 · 端侧实现案例
模型剪枝实战结构化剪枝
11
知识蒸馏
教师-学生架构 · 多模态蒸馏（视觉/文本/跨模态） · 轻量学生模型设计
知识蒸馏教师
12
低秩分解与张量分解
SVD · CP分解在Transformer和视…
低秩分解张量分解
13
端侧推理引擎
TensorFlow Lite · ONNX Runtime Mobil… · MNN
端侧推理引擎TensorFlow
14
硬件加速与算子优化
NPU指令集 · 算子融合 · 内存布局优化
硬件加速算子优化
15
多模态模型端侧适配
视觉编码器轻量化 · 文本嵌入压缩 · 跨模态注意力优化
多模态模型端侧适…视觉编码器轻量化
16
端侧部署流程
模型转换 · 格式统一（如ONNX/TFLite） · 编译优化
端侧部署流程模型转换
17
量化推理实战
使用PyTorch/ONNX对多模态… · 并对比精度与速度
量化推理实战PyTorch/ONNX
18
边缘设备性能调优
Profiling工具（如Perfe… · TensorRT Profiler） · 瓶颈分析与优化迭代
边缘设备性能调优Profiling
19
案例实战
在手机/嵌入式设备上部署图像描述或视…
案例实战手机
20
案例实战
端侧实时视频理解（动作识别+字幕生成…
案例实战端侧实时视频理解
21
案例实战
智能语音助手（语音+文本+图像）多模…
案例实战智能语音助手
22
模型安全与隐私
端侧推理的数据隐私优势 · 模型加密 · 对抗攻击与防御
模型安全隐私
23
模型更新与OTA
端侧模型热更新 · 增量学习 · 版本管理策略
OTA模型更新
24
功耗与散热管理
动态电压频率调整（DVFS） · 低功耗推理设计 · 电池友好型优化
功耗散热管理
25
多模型协同与调度
多任务共享内存 · 并发推理 · 优先级调度与资源隔离
多模型协同调度
26
端侧大模型趋势
小参数多模态模型（如Phi-3-Vi… · Gemini Nano）的架构与部署
端侧大模型趋势Phi-3-Vi
27
自动化优化工具链
AutoML for Edge · 神经网络架构搜索（NAS）与自动化量…
自动化优化工具链AutoML
28
常见问题与调试
量化后精度暴跌 · 推理崩溃 · 内存溢出等问题的诊断与修复
常见问题调试
29
性能评估与基准测试
端侧推理延迟 · 吞吐 · 内存占用
性能评估基准测试
30
综合项目实战
从零构建一个端侧多模态问答应用 · 涵盖模型选型 · 优化
综合项目实战从零构建一个端侧…