VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署内存池管理调试技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 内存池在大模型部署中的价值与挑战
课程导入学习目标
02
内存管理基础
虚拟内存 · 物理内存 · 页表
内存管理基础虚拟内存
03
大模型部署内存特点
显存/内存占用分析 · KV Cache · 激活值
大模型部署内存特…显存
04
内存池设计原理
内存池的动机 · 分类（固定大小 · 可变大小）
内存池设计原理内存池的动机
05
常见内存池实现
glibc malloc · jemalloc · tcmalloc
常见内存池实现glibc
06
大模型推理框架中的内存池
vLLM · TensorRT-LLM · DeepSpeed-Inferenc…
大模型推理框架内存池
07
内存池核心数据结构
空闲链表 · 伙伴系统 · slab
内存池核心数据结…空闲链表
08
内存池关键操作
内存块分配 · 释放 · 合并
内存池关键操作内存块分配
09
内存池性能指标
分配延迟 · 吞吐量 · 碎片率
内存池性能指标分配延迟
10
内存池调试工具概览
valgrind · gdb · perf
内存池调试工具概…valgrind
11
内存池调试基础
如何定位内存泄漏 · 越界 · 重复释放
内存池调试基础如何定位内存泄漏
12
内存池日志与跟踪
开启调试日志 · 记录分配/释放调用栈 · 统计内存使用
内存池日志跟踪
13
内存池性能分析
使用perf · 火焰图 · profiling工具定位分配热点和…
内存池性能分析perf
14
内存池压力测试
设计高并发 · 大请求 · 长序列场景
内存池压力测试设计高并发
15
内存池碎片问题
内部碎片与外部碎片的成因 · 影响 · 检测方法
内存池碎片问题内部碎片
16
内存池碎片优化
内存规整 · 伙伴系统 · slab分配
内存池碎片优化内存规整
17
内存池容量规划
根据模型大小 · batch size · 序列长度估算内存需求
内存池容量规划根据模型大小
18
内存池动态扩展
内存池扩容 · 缩容 · 内存映射
内存池动态扩展内存池扩容
19
多GPU/多进程内存池
跨设备内存管理 · 统一内存池 · 分布式内存协调
GPU多进程内存池
20
内存池与KV Cache管理
KV Cache的内存分配 · 释放 · 复用
KVCache
21
内存池与推理调度
连续批处理 · 抢占 · 优先级调度中的内存池交互
内存池推理调度
22
内存池调试实战
使用gdb和valgrind定位一个…
内存池调试实战gdb
23
内存池调试实战
使用CUDA memcheck和Ns…
内存池调试实战CUDA
24
内存池调试实战
分析vLLM内存池在高并发下的性能瓶…
内存池调试实战vLLM
25
内存池调试实战
自定义内存池的单元测试与集成测试方法
内存池调试实战自定义内存池的单…
26
常见问题与解决方案
内存池分配失败 · 内存碎片严重 · 性能下降
常见问题解决方案
27
内存池安全与稳定性
内存对齐 · 原子操作 · 锁竞争
内存池安全稳定性
28
内存池调优策略
根据模型和硬件调整块大小 · 预分配 · 缓存策略
内存池调优策略根据模型
29
综合案例
从零构建一个简易内存池并集成到大模型…
综合案例从零构建一个简易…
30
课程总结与进阶
回顾核心要点 · 推荐学习资源 · 未来趋势（如统一内存
课程总结进阶