VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署边缘端落地避坑指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 边缘端部署的定义 · 与云端部署的差异
课程导入学习目标
02
边缘端硬件选型
CPU · GPU · NPU
边缘端硬件选型CPU
03
模型压缩基础
剪枝 · 量化 · 蒸馏
模型压缩基础剪枝
04
量化实战
PTQ与QAT的区别 · INT8/INT4量化精度损失评估 · 量化后模型校准与微调技巧
量化实战PTQ
05
模型剪枝与稀疏化
结构化剪枝与非结构化剪枝 · 稀疏化推理加速原理 · 剪枝后模型微调策略
模型剪枝稀疏化
06
知识蒸馏
教师-学生模型架构设计 · 蒸馏温度与损失函数调优 · 在边缘端小模型上的效果提升方法
知识蒸馏教师
07
模型转换与格式适配
PyTorch/TensorFlow… · TensorRT · TFLite
模型转换格式适配
08
推理引擎选择与优化
TensorRT · OpenVINO · ONNX Runtime
推理引擎选择优化
09
边缘端算子支持与自定义算子
常见不兼容算子（如动态shape · 复杂注意力）的规避方法 · 自定义算子的开发与集成流程
边缘端算子支持自定义算子
10
内存与显存优化
模型加载 · 推理过程中的内存占用分析 · 内存池
内存显存优化
11
推理延迟与吞吐优化
批处理 · 多线程 · 异步推理
推理延迟吞吐优化
12
模型部署框架
TensorRT · ONNX Runtime · TFLite
模型部署框架TensorRT
13
边缘端操作系统与运行环境
Linux裁剪 · Docker容器化 · 依赖库打包
边缘端操作系统运行环境
14
模型安全与加密
模型加密 · 混淆 · 防逆向
模型安全加密
15
模型版本管理与OTA升级
边缘端模型热更新 · 回滚机制 · 版本兼容性管理
OTA模型版本管理
16
边缘端性能基准测试
设计基准测试集 · 评估指标（延迟 · 吞吐
边缘端性能基准测…设计基准测试集
17
功耗与散热管理
功耗测量与优化 · 动态电压频率调整（DVFS） · 散热设计对部署稳定性的影响
功耗散热管理
18
多模型协同与流水线
多模型串行/并行推理 · 模型间数据传递优化 · 端云协同推理架构设计
多模型协同流水线
19
边缘端大模型适配
大模型（如LLM · ViT）在边缘端的挑战 · 模型分片
边缘端大模型适配LLM
20
案例实战
图像分类模型在Jetson上的部署 · 从模型压缩到推理优化的完整流程
案例实战Jetson
21
案例实战
目标检测模型（YOLO系列）在RK3… · 量化与算子适配的坑与解决
案例实战YOLO
22
案例实战
语音识别模型在树莓派上的部署 · 实时性与精度平衡的调优策略
案例实战语音识别模型
23
案例实战
自然语言处理模型（BERT等）在边缘… · 动态shape与内存优化实战
案例实战BERT
24
案例实战
多模态模型在边缘端的部署 · 跨模态数据对齐与推理加速
案例实战多模态模型
25
常见错误与调试
部署中常见的崩溃 · 精度下降 · 性能不达标等问题
常见错误调试
26
性能调优进阶
使用profiling工具（如NVI… · Perf）定位瓶颈 · 针对CPU/GPU/NPU的微架构优…
性能调优进阶profiling
27
边缘端AI框架生态
TensorFlow Lite · PyTorch Mobile · Core ML
AI边缘端
28
端云协同与混合推理
边缘端与云端分工 · 模型分割 · 动态卸载
端云协同混合推理
29
项目实战
从需求分析到部署上线的完整项目流程 · 包括硬件选型 · 模型压缩
项目实战从需求分析到部署…
30
综合提升与未来趋势
边缘端部署的新技术（如神经形态芯片 · 存内计算） · 课程总结与进阶学习路径
综合提升未来趋势