VIP9
本课程属于：100-嵌入式音频与语音系统工程 AI智能与边缘计算工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型部署中的内存优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=模型部署内存优化的学习目标 · 核心概念 · 整体知识框架与实战路线图
课程导入目标=模型部署内…
02
内存基础
目标=计算机内存层次结构 · 虚拟内存 · 页表
内存基础目标=计算机内存…
03
模型内存组成
目标=模型参数 · 激活值 · 梯度
模型内存组成目标=模型参数
04
部署环境内存特点
目标=CPU · GPU · NPU
部署环境内存特点CPU
05
内存测量与剖析
目标=常用内存分析工具 · 指标 · profiling 方法及实战测量案…
内存测量剖析
06
模型压缩概述
目标=量化 · 剪枝 · 知识蒸馏
模型压缩概述目标=量化
07
量化基础
目标=数值表示 · 对称与非对称量化 · 量化粒度
量化基础目标=数值表示
08
量化实战
目标=训练后量化与量化感知训练在部署…
量化实战目标=训练后量化
09
剪枝与稀疏化
目标=结构化与非结构化剪枝 · 稀疏存储格式 · 内存节省与加速效果
剪枝稀疏化
10
知识蒸馏
目标=教师-学生模型设计 · 蒸馏损失 · 内存压缩与部署实践
知识蒸馏目标=教师
11
低秩分解与参数共享
目标=矩阵分解 · 张量分解 · 跨层参数共享的内存优化方法
低秩分解参数共享
12
激活值内存优化
目标=激活重计算 · 原地操作 · 内存池
激活值内存优化目标=激活重计算
13
推理引擎内存管理
目标=TensorRT · ONNX Runtime · TVM
推理引擎内存管理TensorRT
14
动态内存分配与复用
目标=内存池 · 缓存分配器 · 生命周期分析与复用实战
动态内存分配复用
15
批处理与内存权衡
目标=批大小 · 序列长度 · 动态批处理对内存占用的影响与调优
批处理内存权衡
16
模型并行与内存优化
目标=张量并行 · 流水线并行 · 数据并行中的内存分布与通信开销
模型并行内存优化
17
卸载与交换技术
目标=CPU-GPU 卸载 · NVMe 交换 · 分层存储策略与延迟权衡
卸载交换技术
18
边缘设备内存优化
目标=移动端 · 嵌入式 · MCU 上的模型部署内存限制与优化技…
边缘设备内存优化目标=移动端
19
服务端内存优化
目标=多模型服务 · 内存隔离 · 弹性伸缩与资源配额管理
服务端内存优化目标=多模型服务
20
内存优化与延迟权衡
目标=优化技术对推理延迟 · 吞吐量的影响与联合调优方法
内存优化延迟权衡
21
内存优化与精度权衡
目标=量化 · 剪枝等带来的精度损失评估与恢复策略
内存优化精度权衡
22
案例实战一
目标=图像分类模型在 GPU 服务器…
案例实战一GPU
23
案例实战二
目标=大语言模型推理中的 KV Ca…
案例实战二KV
24
案例实战三
目标=目标检测模型在边缘设备上的内存…
案例实战三目标=目标检测模…
25
常见问题与调试
目标=内存泄漏 · OOM 错误 · 碎片化
常见问题调试
26
自动化内存优化
目标=神经架构搜索 · 自动量化 · 自动剪枝工具链与平台
自动化内存优化目标=神经架构搜…
27
内存优化与安全
目标=模型加密 · 隐私保护对内存管理的影响与应对
内存优化安全
28
前沿趋势
目标=稀疏计算 · 混合精度 · 存内计算
前沿趋势目标=稀疏计算
29
综合项目
目标=设计并实现一个端到端的内存优化… · 包含评估与报告
综合项目目标=设计并实现…
30
课程总结与提升
目标=知识体系回顾 · 最佳实践 · 学习资源与持续进阶路径
课程总结提升